评估 LLMs 在真实临床案例中的推理能力

本研究使用了多种模型，包括不同版本、大小、训练数据的截止日期和发布日期。对于闭源模型，我们直接访问其 API；而对于开源模型，我们下载模型权重并进行本地推理。详细信息如下。

• 
  • OpenAI-o3-mini：这是一个闭源模型，版本号为 o3-mini-2025-01-31。其模型大小未公开。训练数据的截止日期为 2023 年 10 月，2025 年 1 月正式发布。
• 
  • Gemini-2.0-FT：这是一个闭源模型，版本为 gemini-2.0-flash-thinking-exp-01-21。类似于 OpenAI-o3-mini，模型大小未公开。其训练数据的截止日期为 2024 年 6 月，并于 2025 年 1 月发布。
• 
  • DeepSeek-R1：这是一个开源模型，版本号为 deepseek-ai/DeepSeek-R1。它是一个大规模模型，拥有 6710 亿参数（671B）。训练数据的截止日期未公开，该模型于 2025 年 1 月发布。
• 
  • Qwen-QwQ：这是一个开源模型，版本号为 Qwen/QwQ-32B-Preview，拥有 320 亿参数（32B）。训练数据的截止日期未公开，模型于 2024 年 11 月发布。
• 
  • 百川-M1：这是一个开源模型，版本标识为 baichuan-inc/Baichuan-M1-14B-Instruct，拥有 140 亿个参数（14B），训练数据的截止日期未公开。该模型于 2025 年 1 月发布。

我们提出的 MedR-Bench 包含三个关键部分：(1) 结构化的患者案例，(2) 三阶段的灵活评估框架，(3) 全面的评估指标。

本节展示了主要评估结果，用于检查建议，如图 1c 和图 1d 所示。详细结果汇总于扩展表 1，推理过程的结果则在扩展表 2 中提供。

推荐考试的分析。

在 1 轮设置中，如扩展表 1 所示，DeepSeek-R1 以 43.61%的召回率最高，展示了其识别相关检查的能力。Gemini-2.0-FT 紧随其后，召回率为 43.12%。Qwen-QwQ 排名居中，而 OpenAI-o3-mini 和 Baichuan-M1 表现欠佳。然而，他们的结果与竞争对手相当。

在精确度上，百川-M1 的得分 41.78%，超越了其他模型，表明其更符合医疗场景，并能更好地推荐相关检查。相比之下，Qwen-QwQ 和 Gemini-2.0-FT 分别获得较低的精确度 24.43% 和 22.77%，这表明它们频繁推荐不相关的检查。这可能是由于 Qwen-QwQ 的参数量较小，且其优化重点是数学领域而非医疗推理。

在自由轮次设置中，模型可以无限制地进行查询，但所有模型的精确率和召回率都没有显著提升。未复习的考试仍然未被复习，即使增加自由轮次，有些模型的性能甚至略有下降。例如，OpenAI-o3-mini 在自由轮次设置中召回率为 38.22%，略低于其在 1 轮次中的 38.47%；DeepSeek-R1 的召回率从 1 轮次中的 43.61% 下降到 40.67%。

在自由回合设置中观察到的一个问题是，模型经常陷入重复的查询循环，要求进行已经提供或明确表示不可用的检查。这种处理多轮对话的低效限制了自由回合设置的效用，并凸显了当前LLMs在长时间互动中提出新查询的挑战。

最后，在分析罕见疾病的表现（扩展表 1）时，我们发现大多数模型在常见疾病上的表现与在罕见疾病上的表现相当。

推理过程分析。

在推理层面，我们主要关注一轮的设置，因为自由轮的设置涉及随着轮次增加而延长的推理过程。值得注意的是，在这种情况下，完整性无法计算，因为案例报告很少记录特定检查选择的推理过程。

如扩展表 2 所示，效率结果显示 DeepSeek-R1 得分最高，达到 98.59%，展示了其生成简洁且相关的推理步骤的能力。相比之下，Qwen-QwQ 的得分最低，仅为 86.53%。这可能是由于其“深度思考”的训练目标 [23]，导致生成过多尝试，最终降低了效率。

在真实性方面，大多数 LLMs 表现良好，得分接近 95%。其中，Gemini-2.0-FT 在考试推荐中表现最可靠，真实性得分为 98.75%。值得注意的是，没有一个模型在推理过程中达到完全真实（100%），这强调了在实际医疗应用中仔细验证关键推理步骤的重要性。

在分析罕见疾病的推理时（扩展表 2），我们发现与常见疾病一致的趋势，这表明 LLMs 在常见和罕见病例中的稳健性。

本节展示了诊断决策的结果，分析了最终输出和推理能力的表现。

疾病诊断分析。

如图 1c 和扩展表 3 所示，我们评估了在三种设置下的诊断性能：1-turn、free-turn 和 oracle。总体上，DeepSeek-R1 在这些设置中表现出最佳的诊断准确率，准确率分别为 71.79%、76.18%和 89.76%。

在一轮设置中，DeepSeek-R1 达到了最高的诊断准确率（71.79%），展示了其收集相关信息并做出准确诊断的能力。Gemini-2.0-FT 紧随其后，准确率为 68.55%。这些结果显示了主动信息收集与诊断精度之间的相关性。Baichuan-M1 排名居中，而 OpenAI-o3-mini 和 Qwen-QwQ 的表现较差，这与他们在考试中的结果一致。

在自由轮次设置中，大多数模型能够迭代查询额外信息，尽管检查建议的召回率变化不大，但诊断准确性有所提高。例如，DeepSeek-R1 的准确率从 1 轮次 71.79% 提高到 76.18%，而 OpenAI-o3-mini 的准确率从 64.99% 提高到 67.19%，这可能是由于模型在多个轮次中重新分析检查结果，从而增加了推理计算。 然而，百川-M1 在精度上出现了显著下降，可能是由于其较小的模型大小导致的上下文长度限制。

在提供所有关键诊断信息的 Oracle 设置中，所有模型的准确率显著提高。例如，DeepSeek-R1 从 76.18% 提升到 89.76%，紧随其后的是 Gemini-2.0-FT。OpenAI-o3-mini、Qwen-QwQ 和 Baichuan-M1 的准确率也超过 83%。这些结果强调了识别和推荐相关检查以支持准确诊断的重要性。

总体而言，所有模型在参考设置下达到 80%以上的诊断准确率，表明在提供足够信息的情况下，当前的LLMs模型能够可靠地完成诊断任务。在罕见疾病上的表现与常见疾病一致，进一步证明了这些模型在复杂场景下的稳健性。

推理过程分析。

图 1d 和扩展表 4 显示了所有疾病的诊断推理结果。扩展表 5 进一步展示了罕见疾病的结果。

在 1 轮诊断设置中，如表 4 所示，在推理基于不完整检查的情况下，除了 Qwen-QwQ，大多数模型在事实性上相较于预言设置下表现下降。这表明检查缺失增加了推理错误的可能性。有趣的是，Qwen-QwQ 在此设置下表现良好，尽管其效率低，但生成详尽推理，完成率达到了 66.94%。

在提供所有重要考试结果的测试环境中，Gemini-2.0-FT 在准确性和完整性方面表现出色，分别获得 98.23% 和 83.28% 的分数。DeepSeek-R1 以 97.17% 的效率领先。相比之下，Qwen-QwQ 在效率（71.20%）和准确性（84.02%）方面表现不佳，因为其推理较为冗长。 然而，这种冗长的处理方式使得模型能够获取更多的真实推理证据，从而在开源模型中获得最高的完整性得分（79.97%）。值得注意的是，对于罕见疾病，如表 5 所示，性能保持一致，大多数 LLMs 的事实性并未下降。

本节展示了治疗规划的结果。总体结果如图 1c（最终结果）和图 1d（推理过程）所示，详细结果见扩展表 6。

治疗方案的分析。

在治疗规划中，我们发现推荐治疗方案的精确度显著低于诊断结果的准确度。在模型中，百川-M1 和 DeepSeek-R1 的精确度分别为 30.65% 和 30.51%，最高。这表明治疗规划比诊断更复杂，强调了 LLMs 的进一步发展需求。

与诊断不同，罕见病例不会影响诊断效果。在治疗方案规划中，通用模型对罕见疾病的处理精度显著下降。例如，OpenAI-o3-mini 的处理准确率从 27.03% 下降到 23.17%，DeepSeek-R1 从 30.51% 下降到 27.27%。这表明在治疗罕见疾病时，专业知识的缺失是一个持续存在的难题。 相比之下，百川-M1 保持了稳定的性能，精度从 30.65% 稍稍下降到 30.30%，证明了其医疗知识的有效增强。

推理过程分析。

如扩展表 6 所示，治疗规划的推理质量通常较高。大多数模型的实际一致性得分超过 95%，符合医学指南。 DeepSeek-R1 的效率最高（95.25%），而 Gemini-2.0-FT 在准确性方面领先（96.96%），紧随其后的是 OpenAI-o3-mini（96.77%）。Qwen-QwQ 在其他阶段的表现一致，效率最低（84.76%），但准确性最高（77.66%），这反映了其生成大量推理的倾向。有趣的是，在少数情况下，推理性能变化不大，模型保持高准确性和完整性评分。 然而，在最终的治疗方案中，模型的准确性通常较低。

如图 2a 所示，从 PubMed Central 开放存取（PMC-OA）子集中收集了病例报告[18]，重点关注标为“病例报告”的文章。为防止潜在的数据泄露，我们排除了 2024 年 7 月前的论文，这与 OpenAI-o3-mini 和 Gemini-2.0-FT 的训练数据截止日期一致。虽然其他模型未披露截止日期，但它们的发布时间（接近 2025 年 1 月）和可比性能表明这个截止日期足以用于分析。 筛选后得出 3,817 个病例报告。

为了确保相关性，不相关的病例报告，如那些专注于医学教育的报告，被排除在外。这些报告使用 GPT-4o [24] (gpt-4o-2024-11-20) 和提示 1 重新格式化为结构化的患者病例。与诊断相关的病例包括“鉴别诊断过程”和“最终诊断解释”的章节（提示 2），而与治疗相关的病例包括“治疗目标”和“综合理由”的章节（提示 3）。

为了确保评估数据集中包含所有患者案例，每个案例根据医疗方面及其与罕见疾病的相关性进行分类。医疗方面采用的是 MedlinePlus [25] 的“身体系统”和“疾病与状况”分类法，详见其“健康主题”页面。不属于任何预定义类别的案例被归类为“其他”。 使用提示 4 时，GPT-4o 根据主要受影响的身体部位将病例归类到身体系统类别，而使用提示 5 时，根据相关疾病将病例归类到疾病类别。

为了识别罕见疾病，我们使用了罕见病类本体（ORDO ²
) 由 Orphanet 提供 [26]。首先，使用 Scispacy [27] 从患者病例中提取所有相关的 UMLS [28] 概念唯一标识符 (CUIs)。如果 CUI 匹配 ORDO 中列出的 CUI，则使用 GPT-4o 进行进一步验证，使用提示 6 确认是否明确提及罕见疾病。通过这两步验证的病例被归类为与罕见疾病相关；否则，被标记为与罕见疾病无关。

因此，所有病例被分为三个维度：“身体系统”、“疾病和病症”（简称“疾病”）以及罕见疾病相关性。MedR-Bench 包含 1,453 个现实世界患者病例，其中 957 个为诊断病例，496 个为治疗病例。其中 491 个诊断病例和 165 个治疗病例与罕见疾病相关。病例在医学领域的分布如图 2a 所示。 详细病例及参考类别标签见补充材料 10.1。

在本节中，我们介绍评估框架的实现细节。考虑三个关键阶段：检查建议、诊断决策和治疗规划。

在此阶段，我们受早期研究 [14, 19, 20] 的启发，评估了 LLMs 与患者进行动态互动并主动推荐必要检查以支持临床决策的能力。为此，我们使用 GPT-4o 和提示 7 构建了一个患者代理，其中 {case} 代表 MedR-Bench 中的特定患者案例。患者代理被设计为虚拟患者，能够与 LLMs 进行动态互动，并回答他们的问题。

在评估过程中，临床 LLMs 会收到患者案例摘要，不包括辅助测试的详细信息，并需要与患者代理互动以获取准确诊断所需的信息。互动遵循两种协议之一：1 轮或自由轮互动。在每轮互动中，LLMs 可以要求进行额外的检查，如影像或实验室检查，模拟真实世界的临床流程。 如果患者案例中没有所需检查，患者代理会回复：“此请求没有相关辅助测试信息。”

在 1 轮协议下，LLMs被提示根据患者案例使用提示 8 请求必要的信息。在自由轮协议下，LLMs首先被提示使用提示 10 输入患者案例摘要。在后续轮次中，他们被提示使用提示 11 来决定是否掌握了足够的信息来明确诊断。

在此阶段，我们评估LLM在不同环境下的诊断能力，按关键信息可用性排序：（i）1 回合检查后诊断建议：LLMs通过整合基本患者信息和 1 回合检查阶段获得的额外细节，使用提示 9 进行最终诊断。 (ii) 诊断建议：在这种情况下，LLMs 根据自由轮次互动中的检查信息进行诊断，认为现有信息已足够。为防止无限循环，轮次限制为五轮。如果达到上限，LLM 必须根据收集的信息进行诊断。 (iii) 诊断结果：在这种设置下，LLMs 会收到完整的真实患者信息，包括所有辅助检查，并提示使用提示 12 进行诊断。

在这个阶段，我们向 LLMs 提供完整的患者信息，包括最终诊断结果，以生成使用 Prompt 13 推荐的首选治疗方案。具体来说，对于 MedR-Bench 中的每个患者案例，我们提供完整的案例摘要作为输入（原始评估），并指示 LLMs 进行治疗方案的规划。

在本节中，我们将详细解释各种评估指标的实现。

首先，在推理层面，我们引入了推理评估器，这是一个由 GPT-4o 驱动的系统，旨在客观评估自由文本推理的质量，如图 2b 所示。形式上，预测的推理过程用 $\mathcal{\hat{R}}=\{\hat{r}_{1},\hat{r}_{2},\cdots,\hat{r}_{N}\}$ 表示，其中每个 $\hat{r}_{i}$ 代表由原始评估的 LLMs 生成的推理步骤。 系统首先评估每个推理步骤的有效性，将每个步骤归类为以下四类之一：引用、重复、冗余、推理。

• 
  • 引文是指仅重述或直接引用输入内容的步骤。
• 
  • 重复步骤是指那些只是重复早期推理中已得出的结论的步骤。
• 
  • 冗余步骤是指那些对最终决策没有显著影响，且与推理过程无关的步骤。
• 
  • 推理是指提供额外见解并帮助做出最终决策的步骤。

只有被归类为有效的推理步骤。形式上，这种分类可以表示为 $e_{i}=\mathcal{A}(\hat{r}_{i}\mid P_{e})$ ，其中 $e_{i}\in\{0,1\}$ 表示某一步是否有效， $P_{e}$ 表示用于指导 GPT-4o 的提示（Prompt 15）。

随后，代理系统通过验证每个有效推理步骤是否与外部医学知识或既定指南一致，来评估其准确性。具体来说，系统为每个有效推理步骤生成一系列搜索关键词，其形式为：

其中 $\mathcal{K}$ 表示搜索关键词， $P_{k}$ 表示相关提示（提示 16）。通过与外部搜索引擎工具交互，包括 Google ³ , Bing⁴⁴4百度或者 DuckDuckGo ⁵
我们可以检索出前 3 个推荐的在线页面。系统将总结这些信息的环境响应，以 $\text{Response}=\mathcal{A}(\text{Search}(\mathcal{K})\mid P_{s})$ 形式呈现，其中 $\text{Search}(\cdot)$ 代表搜索 API， $P_{s}$ 是用于摘要的提示。最后，代理系统根据摘要来判断每一步的正确性：

同样，这里， $P_{c}$ 是用于评估模型输出是否与搜索的事实信息一致或是否与之矛盾的提示（Prompt 17）。

接下来，如果提供了真实推理证据 $\mathcal{R}$ ，将使用代理系统将其与预测进行比较。评估预测中有多少步骤与真实推理证据匹配 $\hat{\mathcal{R}}$ 。我们首先使用提示 14 将 $\mathcal{R}$ 分解为多个步骤 $\{{r}_{1},{r}_{2},\dots,{r}_{M}\}=\mathcal{A}({\mathcal{R}}\mid P_{d})$ 。然后，使用提示 18 确定每个步骤是否在预测中都可找到 $P_{f}$ ：

根据代理推理过程的结果，可以得出以下推理指标：

• 
  • 效率：该指标评估推理步骤在多大程度上增加了对最终答案的理解，而不是简单重复之前的结论或使用无关的推理内容。效率得分如下：
• 
  • 事实性：在这个指标中，我们评估推理步骤的准确性。这类似于精确率。根据推理评估的结果，我们计算所有有效步骤中遵循已建立的医学知识或指南的步骤比例：
• 
  • Completeness: 该指标评估原始案例报告中列出的推理步骤在生成内容中的体现程度。它类似于召回率，计算方式为：

为了进一步评估这些指标的可靠性，我们对关键的分类步骤进行了人工验证，包括有效性分类、事实性判断和完整性评估。对于每个组件，我们随机抽取了 100 个案例，并分配给四个独立评估者来验证系统预测结果的准确性。系统分别达到了 98%、99%和 90%的准确率。这些结果证明了最终指标的有效性。

此外，在最终生成阶段，例如，考试建议、疾病诊断、治疗规划，我们采用多种经典指标来衡量性能：

• 
  • 准确性：这是一个二值指标。它直接比较最终答案与原始病例报告中提供的真实情况是否一致。由于医学术语常有同义词，我们使用 GPT-4o 来验证预测结果是否与真实情况相同。为了准确诊断，我们使用了提示 19 中的提示。相比之下，治疗规划比准确诊断更复杂，因为同一疾病可能有不同的治疗路径。 为了解决这种复杂性，我们首先使用 Prompt 16 从患者案例中提取关键词。然后，我们使用搜索引擎收集相关信息，并根据这些信息和实际治疗计划进行判断，如 Prompt 20 所述。
• 
  • 精确率和召回率：这些指标用于考试推荐。它们通过精确率和召回率来比较 LLM 生成的推荐考试列表与实际列表的准确性。由于 LLM 的查询为自由文本，我们首先使用 GPT-4o 摘要并重组为结构化列表，使用 Prompt 21。然后我们用 Prompt 18 评估命中率。

同样，我们对 100 个样本案例进行了人工检查，以验证 GPT-4o 是否能准确评估诊断和治疗计划预测结果。在诊断任务中，GPT-4o 的准确率达到了 96%。在治疗规划任务中，由于其固有的复杂性和变异性，GPT-4o 的准确率达到了 84%。

在我们的 MedR-Bench 中，我们评估了五个主流推理 LLM 系列：

• 
  • OpenAI-o3-mini [29]: o3-mini 是 OpenAI 开发的最新 LLM，被广泛认为是目前最强大的 LLM。与 OpenAI 的前一个模型 GPT-4o 相比，其最显著的特性是增强的推理能力，换句话说，就是回答问题前的“思考”能力。我们使用官方 API 评估了模型版本 o3-mini-2025-01-31。
• 
  • Gemini-2.0-Flash-Thinking [30]: Gemini-2.0-Flash-Thinking 是 Google 开发的一种实验性“思考”LLM。与前代 Gemini 2.0 Flash 实验模型相比，它在回答中展现出更强的推理能力。该模型以其在生成答案前的明确“思考过程”为特点。我们使用官方 API 评估了模型版本 gemini-2.0-flash-thinking-exp-01-21。
• 
  • DeepSeek-R1 [2]: DeepSeek-R1 是 DeepSeek 公司开发的 6710 亿参数 LLM。它是一个开源模型，性能与 OpenAI 的 o1 相当。类似于 o1，它也是一个推理 LLM，能够生成明确的“思考”输出。在我们的评估中，我们使用了 Hugging Face 的模型权重，deepseek-ai/DeepSeek-R1 ⁶
• 
  • Qwen-QWQ [23]: Qwen-QwQ 是 Qwen 团队开发的 32B 参数实验研究模型。类似于 OpenAI-o1 和 DeepSeek-R1，它也在推进 LLM 推理能力。我们使用 Qwen/QwQ-32B-Preview ⁷ 的模型权重。
• 
  • 百川-M1 [31]： 百川-M1 是 Baichuan 公司开发的 140 亿参数的 LLM 医学模型。与之前提到的用于通用领域的模型不同，百川-M1 是最新的专用医学 LLM。我们使用 baichuan-inc/Baichuan-M1-14B-Instruct ⁸

值得注意的是，在评估过程中，有两种方法可以获得模型的推理结果。一种方法是使用模型的默认标记为“思考部分”。例如，DeepSeek-R1 的响应总是由两部分组成：一个思考部分和一个正式的回答部分，由特殊标记 “” 和 “ramentas” 分隔。OpenAI-o3-mini 的输出格式遵循相同的结构。 虽然将思考部分视为推理是自然的，但 OpenAI-o3-mini 默认省略了这一部分，其他模型如 Qwen-QWQ、Baichuan-M1 和 Gemini-2.0-Flash-Thinking (FT) 也不区分推理和回答部分。因此，为了标准化推理评估，我们采用第二种方法来获取推理：通过提示“逐步总结推理步骤”来生成推理响应。 对于 DeepSeek-R1，这种方法产生两种可能的推理输出：正式回答部分生成的推理结果，以及用特殊标记表示的额外思考部分。默认情况下，在图表中，我们报告前者以进行公平比较。在表格中，我们报告两者的推理指标，记录为“XX /xx”，其中前者表示正式回答部分的推理部分，后者表示标记的部分。

在本部分，我们将定性分析各种模型的性能。

为了清晰起见，我们先解释案例表左侧列的术语。

• 
  • 案件编号：表示 PMC 病例报告的唯一标识符。
• 
  • 类别：介绍本案例的分类，包括身体系统、疾病和病症，以及是否与罕见疾病相关。
• 
  • 病例摘要：提供基本患者信息，不包括辅助检查结果。
• 
  • 鉴别诊断：描述直接从病例报告中提取的真实诊断过程。
• 
  • 最终诊断：陈述患者的基本诊断事实，并总结原始病例报告中的相关陈述。
• 
  • 诊断结果：指确诊的疾病名称。第 1 例：指检查建议。
• 
  • 辅助测试拆分：展示了 GPT-4o 结构的真实辅助测试信息。
• 
  • 治疗方案分析：展示推荐治疗方案的真实理由（案例 4）。
• 
  • 治疗计划结果：描述首选治疗计划。

上述所有内容都是根据病例报告通过模型提取和整理的患者基本信息、真实诊断结果和治疗方案。

接下来的行显示了 LLMs 的响应。为了便于比较评估中的模型与实际案例的推理过程，我们把三个案例并排展示出来。 然而，对于涉及检查建议的任务 Case 1，原始报告通常没有说明推理过程，因此此处不显示真实值。在检查建议的 Case 1 中，

• 
  • 请求推理：代表在审核推荐过程中进行的推理过程。
• 
  • 请求输出：表示 LLM 请求的额外辅助测试信息。
• 
  • 提供的辅助测试：显示了提供的补充信息。有了这些信息，模型才能做出诊断决定。

对于前 3 个涉及诊断过程的案例，

• 
  • 诊断推理：展示诊断过程中的推理过程。
• 
  • 请求拆分：提供请求输出的结构化版本，用于计算精确度和召回率。
• 
  • 诊断：展示 LLM 得出的最终诊断。

在 Case4 中，我们比较了 Deepseek-R1 的思考链和思维过程的推理方法。

• 
  • 治疗推理：展示治疗规划过程中的推理过程。推理步骤的真实值为经过重新格式化的治疗规划分析，以逐步的方式展示推理理由。
• 
  • 预计治疗方案：指 LLMs 选择的治疗方案。

在所有案例中，准确率、精确率和召回率等指标的定义与方法部分中所述的定义一致。