MedFuzz: Exploring the Robustness of Large Language Models in Medical Question Answering

大型语言模型（LLM）在医学问答基准测试中取得了令人印象深刻的表现。然而，高基准准确度并不意味着性能适用于真实的临床环境。医学问答基准测试依赖于与量化LLM性能一致的假设，但这些假设在临床的开放世界中可能不成立。然而，LLM学习了广泛的知识，可以帮助LLM在实际情况下进行泛化，而不受著名基准测试中不切实际的假设的影响。我们试图量化LLM医学问答基准测试的性能在基准测试假设被违反时的泛化能力。具体而言，我们提出了一种对抗方法，称为MedFuzz（用于医学模糊化）。MedFuzz试图以旨在困扰LLM的方式修改基准测试问题。我们通过针对MedQA基准测试中呈现的患者特征的强假设来演示这种方法。成功的“攻击”以一种医学专家不太可能被愚弄的方式修改基准测试项，但仍然“欺骗”LLM从正确答案变为错误答案。此外，我们提出了一种排列检验技术，可以确保成功的攻击在统计上具有显著性。我们展示了如何使用“MedFuzzed”基准测试的性能以及单个成功的攻击。这些方法显示出在更现实的环境中提供LLM操作的稳健性能力的前景。

评估大型语言模型在医疗领域的泛化能力，探究现有基准测试的局限性

使用对抗样本生成方法MedFuzz来检测大型语言模型在现实临床环境中的鲁棒性，提出一种置换检验方法来评估攻击的成功率是否具有统计学意义

论文使用MedQA数据集进行实验，并提出了一种对抗样本生成方法MedFuzz，通过修改基准测试中的问题来检测模型的鲁棒性；论文还使用置换检验方法来评估攻击的成功率是否具有统计学意义；实验结果表明，大型语言模型在医疗领域的泛化能力存在局限性，MedFuzz可以有效检测这种局限性

相关研究包括对抗样本生成方法的研究，以及大型语言模型在医疗领域的应用研究。