MedExQA: Medical Question Answering Benchmark with Multiple Explanations

本文介绍了MedExQA，这是一个新颖的医学问答基准，通过解释评估大型语言模型（LLMs）对医学知识的理解。通过构建跨越五个不同医学专业的数据集，并进一步为每个问题-答案对引入多个解释，我们解决了当前医学问答基准的一个主要缺陷，即缺乏对LLMs生成微妙医学解释能力的全面评估。我们的工作强调了医学LLMs中可解释性的重要性，提出了一种评估模型的有效方法，揭示了当前LLMs（包括GPT4）在特定领域——言语病理学方面缺乏良好的理解。我们的结果表明，使用多个解释进行生成评估更符合人类评估，突显了更强大的LLMs自动理解评估的机会。为了使开源医学LLMs更加多样化（目前主要基于Llama2），本文还提出了一个新的医学模型MedPhi-2，基于Phi-2（2.7B）。该模型在生成解释方面优于基于Llama2-70B的医学LLMs，显示了它在资源受限的医学领域的有效性。我们将分享我们的基准数据集和训练模型。

本文介绍了MedExQA，一个新的医学问答基准，旨在通过解释评估大型语言模型（LLMs）对医学知识的理解。该基准旨在填补当前医学QA基准测试的主要空白，即缺乏对LLMs生成细致医学解释能力的全面评估。

通过构建跨越五个不同医学专业的数据集，并进一步为每个问题-答案对引入多个解释，本文提出了一种有效的方法来评估模型的能力。该方法超越了传统的分类准确性评估，强调了医学LLMs的可解释性的重要性，并揭示了当前LLMs在特定领域（如语言病理学）中的不足。

本文的亮点包括提出了一个新的医学模型MedPhi-2，提供了多个解释的生成评估方法，展示了MedPhi-2在资源受限的医学领域中的有效性，并提供了基准数据集和训练模型。

最近在这个领域中，还有一些相关的研究，如BioASQ和PubMedQA。