MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning

尽管大型语言模型（LLMs）在各个一般领域取得了显著的进展，但在医学和医疗领域仍然遇到了重重障碍。这个领域面临着特殊的挑战，如领域特定术语和专业知识的推理。为了解决这些顽固问题，我们提出了一个新颖的多学科合作（MC）框架，用于医学领域，利用基于LLM的角色扮演代理参与协作多轮讨论，从而增强LLM的熟练程度和推理能力。这个无需训练且可解释的框架包括五个关键步骤：收集领域专家，提出个体分析，将这些分析总结成报告，反复讨论直到达成共识，最终做出决策。我们的工作特别关注零-shot场景，我们在九个数据集（MedQA、MedMCQA、PubMedQA和来自MMLU的六个子任务）上的结果表明，我们提出的MC框架在挖掘和利用LLMs的医学专业知识以及扩展其推理能力方面表现出色。基于这些结果，我们进一步进行了人类评估，以确定和分类我们方法中常见的错误，以及消融研究，旨在了解各种因素对总体性能的影响。我们的代码可以在\url{https://github.com/gersteinlab/MedAgents}找到。

论文旨在解决医学领域中LLMs面临的独特挑战，即特定术语和专业知识的推理，提出了一种基于角色扮演LLM代理的多学科协作框架，以增强LLM的能力和推理能力。

论文提出了一种多学科协作框架，使用角色扮演LLM代理参与协作多轮讨论的方式，以提高LLM的能力和推理能力，该框架包括五个关键步骤：收集领域专家、提出个人分析、将这些分析总结成报告、反复讨论直至达成共识、最终做出决策。

论文在九个数据集上进行了实验，证明了提出的MC框架在挖掘和利用LLMs中的医学专业知识以及扩展其推理能力方面表现出色。此外，论文还进行了人类评估和消融研究，以了解各种因素对整体性能的影响。代码已开源。

最近的相关研究包括使用LLMs解决医学问题的研究，如《Using Large Language Models to Improve Question Answering for Patients: A Feasibility Study》和《Transformers for Clinical Question Answering: An Overview of Recent Advances》。