MedConceptsQA: Open Source Medical Concepts QA Benchmark

我们提出了MedConceptsQA，这是一个专门针对医学概念问答的开源基准测试。该基准测试包含不同词汇的各种医学概念的问题：诊断、手术和药物。这些问题分为三个难度级别：容易、中等和困难。我们使用各种大型语言模型对基准测试进行了评估。我们的研究结果表明，尽管经过医学数据的预训练，预训练的临床大型语言模型在这个基准测试上的准确率接近随机猜测。然而，与临床大型语言模型相比，GPT-4在零样本学习和少样本学习方面的绝对平均改进率分别达到了近27%和37%。我们的基准测试是评估大型语言模型对医学概念理解和推理能力的有价值资源。我们的基准测试可在https://huggingface.co/datasets/ofir408/MedConceptsQA上获得。

本论文旨在解决医学概念问答中的理解和推理问题，提出了一个医学概念问答基准测试，并使用各种大型语言模型进行了评估。

论文提出了一个医学概念问答基准测试，包括易、中、难三个难度级别的问题，覆盖了诊断、手术和药物等各种医学概念，使用GPT-4模型在该基准测试上取得了显著的性能提升。

论文使用了各种大型语言模型对提出的医学概念问答基准测试进行了评估，发现目前的预训练临床语言模型在该基准测试上的准确率接近随机猜测。而使用GPT-4模型在该基准测试上取得了显著的性能提升，相对于临床语言模型，零样本学习的平均绝对提升率为27％，少样本学习的平均绝对提升率为37％。该基准测试已经公开并可用于评估大型语言模型对医学概念的理解和推理能力。

最近在医学自然语言处理领域中，还有一些相关研究。例如，Gupta等人在论文《MedQA: A Large Scale Medical Question Answering Dataset》中提出了一个大规模的医学问答数据集，用于评估医学问题回答的模型。另外，Liu等人在论文《ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Mortality》中提出了一种针对临床文本的预训练模型，用于医学自然语言处理任务。