CALE Clinical Agents' Last Exam真实诊疗与医学研究工作流中的智能体评测

Clinical Agents' Last Exam

面向真实诊疗与医学研究工作流的 AI 智能体评测计划

从多源临床信息与医学实验数据，到疾病诊断、临床决策、专业工具操作、研究分析、过程核验与安全交付，CALE 评估 AI 智能体能否可靠完成真实诊疗与医学研究中的复杂任务。

了解任务框架 临床任务贡献说明

Why CALE

医学知识达标，不等于能够完成临床工作

考试和模拟问诊能够衡量知识与对话能力，但真实医疗工作还要求智能体在复杂环境中读取证据、调用多种工具、执行多步操作、留下可核验过程并全程控制风险。

胸片病例题中的正位胸部 X 线影像 考试与模拟问诊

90 岁男性，有房颤和痴呆病史，突发呼吸困难 1 小时。未接受抗凝治疗；查体见呼吸急促和心动过速。胸片示右肺野肺血管影消失，右下肺动脉增宽。

根据病史和胸片，以下哪个选项为正确诊断？

  1. A升主动脉瘤
  2. B房间隔缺损
  3. C大面积肺栓塞
  4. D右上叶肺炎
MicroDicom 中比较两位 reader 标注并进行仲裁的工作界面 专业工具中的真实任务

真实临床工作

整合多模态资料，决策规划、调用专业工具，在关键节点核验并交付可追溯结果。

  1. 01匹配病例
  2. 02打开 DICOM
  3. 03比较标注
  4. 04记录依据
  5. 05结构化交付

WHAT MAKES A CALE TASK

什么样的医疗任务适合交给智能体？

适合智能体的，不是简单问答，而是需要综合多源信息、连续完成多步操作，并形成可核验专业结果的真实临床与医学研究任务。

CORE PRINCIPLE

智能体任务的核心，是围绕总体目标自主规划，选择并调用合适的方法与工具，持续整合信息、推进任务，直至形成最终交付。

REAL-WORLD GOAL

对应真实工作目标

任务来自真实诊疗、医学研究或专业操作，并指向一项完整的工作目标。

MULTI-SOURCE EVIDENCE

需要综合多源信息

任务需要结合病史、影像、检验、研究数据或文献等多类信息形成判断。

MULTI-STEP SOLVING

需要多步解决

任务包含多个相互关联的步骤，需要结合中间结果逐步推进。

CLEAR DELIVERABLE

形成明确的任务交付

最终应产出可使用、可审阅、可复现或可核验的专业结果。

医疗智能体任务覆盖多类真实工作场景

CALE Clinical Agents' Last Exam

临床诊疗与决策

病例综合判断、诊断与分期、风险评估、MDT 会诊、治疗方案制定及随访规划。

临床科研分析

队列数据整理、统计分析、亚组比较、疗效与预后评估，以及形成研究结论。

生物医学研究

组学分析、靶点筛选、机制证据整合、候选药物优选和实验结果解释。

专业工具与数据操作

医学影像处理、病理定量、数据库检索、统计软件操作、代码执行与结果导出。

医学报告与证据交付

结构化报告、研究摘要、病例讨论、证据综述、质量审核和规范化结果汇总。

医疗质量与公共卫生

医疗质量监测、病例审核、风险预警、资源配置、疾病监测和人群健康管理。

更适合纳入 CALE

要求智能体围绕总体目标，综合多源资料，自主完成多个关联环节，最终提交诊疗方案、研究分析、数据文件或其他完整成果。

  1. 复杂肿瘤病例 MDT 诊疗方案制定

    1. 病历与多模态资料理解
    2. 影像病灶定位与分期
    3. 病理结果分析
    4. 指南与文献检索
    5. 治疗方案比较
    6. 形成 MDT 讨论报告

  2. 术前规划与手术方案设计

    1. 患者资料整合
    2. 医学影像三维重建
    3. 解剖结构分析
    4. 手术路径模拟
    5. 风险评估
    6. 输出术前规划方案

  3. 医学影像辅助评估任务

    1. 影像数据加载
    2. 病灶检测与定位
    3. 定量测量
    4. 影像变化分析
    5. 疾病分级/疗效评估
    6. 生成结构化报告

  4. 临床科研队列分析

    1. 研究问题定义
    2. 病例筛选
    3. 临床数据清洗
    4. 多模态变量整合
    5. 统计建模
    6. 可视化分析
    7. 生成研究结果

  5. 医学证据整合与循证决策

    1. 临床问题拆解
    2. 文献与指南检索
    3. 证据质量评估
    4. 不同方案比较
    5. 风险收益分析
    6. 输出循证建议

  6. 医学软件与工具操作

    1. 医学数据导入
    2. 专业软件操作
    3. 参数设置与分析
    4. 结果验证
    5. 调整优化
    6. 输出可交付结果

更接近普通问答

只要求回答一个孤立知识点、识别单一结论，或按照明确给出的步骤机械完成，缺少完整目标、自主决策和可交付成果。

  1. 医学知识问答

    1. 输入医学问题
    2. 输出疾病知识、诊疗建议或考试答案

  2. 医学图像识别

    1. 输入医学图像
    2. 输出分类、检测或分割结果

  3. 医学报告生成

    1. 输入检查结果或影像数据
    2. 输出结构化报告或文本描述

  4. 病例诊断推理

    1. 输入整理后的病例信息
    2. 输出诊断结论或治疗方案

  5. 医学数据分析任务

    1. 输入结构化数据
    2. 输出统计结果或预测指标

  6. 医学信息抽取

    1. 输入病历或医学文本
    2. 输出指定实体、字段或结构化信息

HOW CALE EVALUATES SAFETY

安全边界贯穿整个工作流

一个看似正确的最终结果，不能抵消错误患者、遗漏核对、违规操作或绕过人工确认。CALE 将这些问题作为任务执行质量的一部分。

幻觉与错误引用

判断是否建立在可追溯的临床证据上。

病例与材料一致性

防止错误患者、错误序列和关键材料遗漏。

操作与权限边界

识别不可自动执行或必须停止的操作。

人工确认与升级

在高风险、不确定或冲突条件下请求医生介入。

HOW CALE TASKS ARE BUILT

由临床经验出发，形成可运行的智能体任务

临床团队协作图标01

Clinical expertise

医生还原真实工作

定义材料、合理流程、合格结果和安全边界。

任务整理与研究图标02

Task engineering

CALE 团队整理任务

转换为可执行、可复现、可评测的任务环境。

模型与智能体系统评测图标03

Agent evaluation

比较模型与智能体系统

记录能力、过程、安全性和可核验结果。

Contributor incentives

激励政策

论文共同作者

凡有至少 1 道任务通过专业审核并被 CALE 正式采用的出题者，均可获得项目论文的共同作者资格。贡献者需配合完成必要的任务核验、内容修订及作者信息确认。

优秀出题人奖励

对于持续贡献高质量任务的出题者，CALE 将根据任务的专业价值、真实性、完整性、难度和可评测性进行综合评选，并提供最高 500 美元的现金奖励。优秀出题人原则上需至少贡献 3 道通过审核并被正式采用的任务。

CALE NETWORK

临床共建网络

50 参与研究者
25 科室与专业方向

来自不同专科、临床研究与工程背景的医生和研究者，共同参与 CALE 任务的提出、设计与专业审阅。

内科与全科 11
信息工程与转化 9
外科与介入 7
影像与超声 7
其他专科 6
呼吸与重症 6
药学与检验 4
慕尼黑工业大学贵州省人民医院西南医科大学附属医院宾夕法尼亚大学上海市儿童医院上海交通大学医学院附属瑞金医院上海交通大学医学院附属仁济医院复旦大学附属华山医院绵阳404医院营山县人民医院
复旦大学附属中山医院东南大学附属中大医院中山大学孙逸仙纪念医院阿尔托大学四川大学华西医院宜兴市人民医院北京市昌平中西医结合医院南充市中心医院首都医科大学附属安贞医院西湖大学医学院附属杭州市第一人民医院
上海人工智能实验室北京大学第三医院成都市第六人民医院上海交通大学医学院附属第九人民医院上海长海医院上海交通大学三台县中医医院上海市胸科医院广州医科大学附属第一医院浙江大学校医院
数据基于当前有效研究者名单整理，统计范围将随共建网络持续更新。

CALE Consortium

由临床专家与研究团队共同定义评测标准

CALE 联合医生、医院、科室和研究团队，让真实临床要求进入智能体任务设计与评价。

顾问委员会

段琦

总裁 上海临床创新转化研究院

高强

长江学者 复旦大学附属中山医院

金钢

国家科技重大专项首席科学家 长海医院

Pearse Keane

美国国家医学院国际院士 伦敦大学学院

乔宇

领军科学家 上海人工智能实验室

邵岭

IEEE Fellow 中国科学院大学

申恒涛

欧洲科学院院士 同济大学

Philip Torr

英国皇家学会会士（FRS） 牛津大学

郑冶枫

IEEE Fellow 西湖大学

学术委员会

戈宗元

副教授 莫纳什大学

顾运

副教授 上海交通大学

何军军

全时导师 上海创智学院

蒋龙泉

数据挖掘与人工智能部总监 上海临床创新转化研究院

柳楠

DAISI 主任 杜克-新加坡国立大学

苏锐

研究助理教授 深圳河套学院

王本友

助理教授 香港中文大学（深圳）

王潚崧

首席研究员 上海人工智能实验室

杨健程

助理教授 阿尔托大学

Serena Yeung-Levy

助理教授 斯坦福大学

杜天明

博士后研究员 阿尔托大学

吴英成

博士后研究员 斯坦福大学

尹榛菲

博士后研究员 牛津大学

张韩啸

博士后研究员 上海市柔性医疗机器人重点实验室

Participate

让真实诊疗与医学研究工作成为下一代智能体的检验标准

进入临床任务贡献指南