Clinical Agents' Last Exam

面向真实诊疗与医学研究工作流的医疗 AI 智能体评测计划

从多源临床信息与医学实验数据，到疾病诊断、临床决策、专业工具操作、研究分析、过程核验与安全交付，CALE 评估 AI 智能体能否可靠完成真实诊疗与医学研究中的复杂任务。

了解评测框架贡献临床任务

Why CALE

医学知识达标，不等于能够完成临床工作

考试和模拟问诊能够衡量知识与对话能力，但真实医疗工作还要求智能体在复杂环境中读取证据、执行操作、留下可核验过程并控制风险。

考试与模拟问诊

90 岁男性，有房颤和痴呆病史，突发呼吸困难 1 小时。未接受抗凝治疗；查体见呼吸急促和心动过速。胸片示右肺野肺血管影消失，右下肺动脉增宽。

这些胸片表现提示何种诊断？

A升主动脉瘤
B房间隔缺损
C大面积肺栓塞
D右上叶肺炎

专业工具中的真实任务

真实临床工作

整合纵向记录和多模态资料，调用专业工具，在关键节点核验并交付可追溯结果。

01匹配病例
02打开 DICOM
03比较标注
04记录依据
05结构化交付

Real-world medical workflow benchmark

面向真实医疗工作流的综合评测

CALE 围绕真实诊疗与医学研究工作流构建复杂任务，覆盖多源信息理解、证据整合、专业推理、决策规划、工具使用、过程核验与结果交付等关键环节，并在任务体系成熟后进一步分析不同能力环节的贡献与瓶颈。

Foundation Model Capability

基础模型原生能力

多模态临床信息理解
临床推理与证据锚定
跨来源证据整合

真实临床任务环境

EHR · Imaging · Pathology · Laboratory · Genomics · Guidelines · Specialized tools

Agent System Capability

智能体系统能力

规划、工具选择与调用
EHR 交互与流程执行
结果整合、复核与交付

Clinical Workflow Atlas

覆盖多源信息与复杂临床工作流的真实任务评测

CALE 围绕真实诊疗与医学研究工作流构建复杂任务，覆盖纵向病历、多模态临床证据、用药与医嘱、专业工具、多学科协同、随访管理，以及医学实验数据、多组学分析与研究验证等场景，评估智能体能否在连续工作环节中完成信息核验、专业推理、决策规划、系统操作与结果交付。

放射治疗计划、剂量分布和剂量体积直方图界面 — 01 · Treatment planning放疗计划与独立验证
结构检查、计划优化、剂量评估与安全 QA。

X 线、CT、MRI 与关节影像阅片界面 — 02 · Medical imaging多模态影像研判
跨序列查看、定位、比较与结构化交付。

数字病理切片浏览与组织区域标注界面 — 03 · Digital pathology病理浏览与区域标注
切片导航、病灶识别、标注与诊断关联。

TCGA-LUAD 临床与 KRAS 表达数据整合及队列构建界面 — 04 · Clinical genomics多组学数据整合与生存分析
构建患者级队列，完成表达分层、统计分析与结果核验。

NSCLC 组序贯试验期中分析边界和设计核验界面 — 05 · Clinical trial design临床试验统计设计与核验
设计期中边界、无效性规则、多重检验与 SAP 交付。

以上为脱敏的诊疗与医学研究工作流示意界面。

From evidence to delivery

不只检查最后答案，也检查任务如何完成

下图以 MicroDicom 影像仲裁任务作为流程示意

01
获取临床证据
识别病例、材料和当前任务上下文。
02
整合与判断
联系多来源信息，形成可解释的工作判断。
03
规划并操作工具
选择合理工具并执行必要操作。
04
核对阶段结果
确认中间产物满足医学和流程要求。
05
安全交付
生成完整结果并保留审查证据。

Safety-critical evaluation

安全边界贯穿整个工作流

一个看似正确的最终结果，不能抵消错误患者、遗漏核对、违规操作或绕过人工确认。CALE 将这些问题作为任务执行质量的一部分。

幻觉与错误引用

判断是否建立在可追溯的临床证据上。

病例与材料一致性

防止错误患者、错误序列和关键材料遗漏。

操作与权限边界

识别不可自动执行或必须停止的操作。

人工确认与升级

在高风险、不确定或冲突条件下请求医生介入。

Building the benchmark

由临床经验出发，形成可运行的智能体任务

Clinical expertise

医生还原真实工作

定义材料、合理流程、合格结果和安全边界。

Task engineering

CALE 团队整理任务

转换为可执行、可复现、可评测的任务环境。

Agent evaluation

比较模型与智能体系统

记录能力、过程、安全性和可核验结果。

Task examples

从临床诊疗到医学研究工作流

四个完整案例以一致结构展示临床诊疗与医学研究任务的流程、阶段产物、核验要求和安全边界。

任务流程示意分歧仲裁

Introductory workflow · 01Source: Agents' Last Exam (ALE)

MicroDicom Reader Adjudication

核对病例与影像、复核 reader 标注、记录仲裁依据并交付结构化结果。

查看完整案例

任务流程示意计划与剂量

Advanced workflow · 02Source: Agents' Last Exam (ALE)

Prostate IMRT Reproduction

修复结构、复现计划、导出一致的 DICOM-RT 结果，并完成独立剂量 QA。

查看完整案例

任务流程示意队列与表达数据

Research workflow · 03Source: Agents' Last Exam (ALE)

TCGA-LUAD KRAS Survival Analysis

整合临床与基因表达数据，构建患者级队列，完成 KRAS 表达分层、生存分析与可复现结果交付。

查看完整案例

任务流程示意期中分析边界

Research workflow · 04Source: Agents' Last Exam (ALE)

Group-Sequential SAP for NSCLC

根据 III 期 NSCLC 试验设定，设计主要终点、期中分析边界、无效性规则、多重检验与 SAP 交付物。

查看完整案例

身份待更新

组织名待更新

Contributors & Partners

发起团队与合作机构

参与项目的医院、科室、大学、实验室和研究团队。

组织名待更新

Participate

让真实诊疗与医学研究工作成为下一代智能体的检验标准

进入临床任务贡献指南