Medical Hallucinations in Foundation Models and Their Impact on Healthcare

能够处理和生成多模态数据的基础模型已经改变了人工智能在医学中的角色。然而，这些模型可靠性的关键限制之一是“幻觉”现象，即不准确或虚构的信息可能会影响临床决策和患者安全。我们将医疗幻觉定义为模型生成误导性医疗内容的任何情况。本文探讨了医疗幻觉的独特特征、原因及其影响，特别关注这些错误如何在实际临床场景中表现出来。我们的贡献包括：（1）提出一个用于理解和应对医疗幻觉的分类法；（2）通过使用医疗幻觉数据集和医生标注的语言模型对真实医疗案例的响应来评估模型，直接揭示幻觉对临床的影响；（3）进行一项多国临床医生关于他们与医疗幻觉经验的调查。我们的研究结果表明，诸如思维链（CoT）和搜索增强生成等推理技术可以有效降低幻觉率。然而，尽管有所改进，仍然存在不可忽视的幻觉水平。这些发现强调了建立强大的检测和缓解策略的伦理和实践必要性，为制定优先考虑患者安全并保持临床完整性的监管政策奠定了基础，随着人工智能在医疗保健中的集成度越来越高。临床医生的反馈突显了不仅需要技术进步，还需要更明确的伦理和监管指南以确保患者安全的紧迫性。论文资源、摘要和更多信息的存储库可在 https://github.com/mitmedialab/medical-hallucination 获取。

该论文试图解决医疗领域中基础模型（Foundation Models）生成误导性或不准确信息的问题，即所谓的“医疗幻觉”，这可能对临床决策和患者安全产生负面影响。这是一个新兴且关键的问题，随着多模态数据处理和生成技术在医学中的应用日益广泛，确保其可靠性和安全性变得尤为重要。

论文的关键思路是通过创建一个分类体系来理解和应对医疗幻觉，并通过使用由医生标注的真实医疗案例数据集对模型进行基准测试，直接评估幻觉对临床的影响。此外，论文还调查了多国临床医生的经验，以了解他们在实际工作中遇到的幻觉问题。相比现有研究，这篇论文不仅关注技术改进，如使用Chain-of-Thought (CoT) 和 Search Augmented Generation 等推理技术来减少幻觉率，还强调了伦理和监管框架的重要性，以确保AI在医疗领域的安全性和有效性。

论文设计了详尽的实验，包括开发了一个专门用于评估医疗幻觉的数据集，并邀请了专业医生对大语言模型（LLM）的回答进行标注。此外，还进行了多国临床医生的调查，收集了他们对AI系统生成内容的看法。这些工作为未来的研究提供了宝贵的数据资源和方向。值得注意的是，尽管采用了先进的推理技术，仍然存在不可忽视的幻觉率，表明需要进一步的技术突破和政策制定。论文的所有资源都已开源，可以在GitHub上找到。

最近在这个领域内还有其他相关研究，例如：1.《Evaluating the Safety of AI in Healthcare: A Systematic Review》探讨了AI在医疗安全方面的评估方法；2.《Mitigating Hallucinations in Medical AI Systems》专注于减少医疗AI系统的幻觉现象；3.《Ethical Guidelines for AI in Medicine》讨论了AI在医学中应用的伦理指南。这些研究共同构成了一个丰富的知识体系，旨在提高AI在医疗领域的可靠性和安全性。