MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes

几项研究表明，大型语言模型（LLMs）能够正确回答医学问题，在某些医学考试中甚至超过了人类的平均得分。然而，据我们所知，尚未有研究评估语言模型验证现有或生成的医学文本的正确性和一致性的能力。在本文中，我们介绍了MEDEC（https://github.com/abachaa/MEDEC），这是第一个公开可用的临床笔记医学错误检测和纠正基准，涵盖了五种类型的错误（诊断、管理、治疗、药物治疗和致病生物）。MEDEC包含3,848篇临床文本，其中包括来自三个美国医院系统的488篇临床笔记，这些笔记此前未被任何大型语言模型见过。该数据集已被用于MEDIQA-CORR共享任务，以评估十七个参与系统[Ben Abacha等人，2024]。在本文中，我们描述了数据创建方法，并评估了最近的大型语言模型（例如o1-preview、GPT-4、Claude 3.5 Sonnet和Gemini 2.0 Flash）在检测和纠正需要医学知识和推理能力的医学错误方面的表现。我们还进行了一项比较研究，让两位医生在MEDEC测试集上执行相同的任务。结果表明，MEDEC是一个足够具有挑战性的基准，可以评估模型验证现有或生成的笔记以及纠正医学错误的能力。我们还发现，尽管最近的大型语言模型在错误检测和纠正方面表现出色，但在这些任务中仍然不如医生。我们讨论了导致这一差距的潜在因素、实验中的见解、当前评估指标的局限性，并分享了未来研究的潜在方向。

该论文试图评估大型语言模型（LLMs）在检测和纠正临床笔记中的医学错误方面的能力，这是一个未被充分研究的领域。虽然已有研究表明LLMs在回答医学问题上表现出色，但它们在验证和纠正医学文本正确性和一致性方面的性能尚未得到系统评估。这确实是一个相对新的问题，特别是在针对医学领域的具体应用场景中。

论文的关键思路是通过引入MEDEC——一个包含3,848个临床文本的新基准数据集，来评估LLMs在检测和纠正五种类型医学错误（诊断、管理、治疗、药物治疗和致病生物）方面的能力。此外，作者还进行了与医疗专业人员的对比实验，以衡量LLMs的实际表现，并探讨了现有模型与人类医生之间的差距及背后的原因。

1. MEDEC是首个公开可用的专门用于医学错误检测和纠正的基准数据集。 2. 数据集包括来自三个美国医院系统的488份从未被任何LLM见过的真实临床笔记。 3. 该研究不仅评估了多个最新LLM的表现，还邀请了两名医生参与测试，提供了人机对比的视角。 4. 研究结果表明，尽管LLMs在某些任务上表现出色，但在医学错误检测和纠正方面仍不及专业医生。 5. 论文讨论了当前评价指标的局限性，并提出了未来研究的方向。 6. MEDEC数据集已开源，为后续研究提供了宝贵资源。

近期相关研究包括： - 'Evaluating Large Language Models Trained on Clinical Notes for Medical Question Answering' (探讨了LLMs在医学问答中的应用) - 'ClinicalBERT: Pretraining of a Transformer Model on Large-scale Clinical Notes' (介绍了专为临床文本设计的预训练模型) - 'Assessing the Reliability of AI Systems in Healthcare Settings' (评估AI系统在医疗环境中的可靠性) 这些研究大多集中在如何利用LLMs进行医学知识的获取和问答，而本文则更进一步，专注于医学文本的验证和纠错。