A Toolbox for Surfacing Health Equity Harms and Biases in Large Language Models

大型语言模型（LLMs）具有为复杂的健康信息需求提供服务的巨大潜力，但也有可能引入伤害并加剧健康不平等。可靠地评估与公平相关的模型失误是发展促进健康公平的系统的关键步骤。在这项工作中，我们提供了资源和方法，以揭示可能导致长篇、LLM生成的医疗问题答案中的公平相关伤害的偏见，并进行了一项实证案例研究，结果是迄今为止在这一领域进行的最大人类评估研究。我们的贡献包括一个多因素框架，用于人类评估LLM生成的答案中的偏见，以及EquityMedQA，一个包含七个新发布的数据集的集合，其中包括手动筛选和LLM生成的问题，丰富了对抗性查询。我们的人类评估框架和数据集设计过程都基于迭代参与方法和对Med-PaLM 2答案中可能存在的偏见进行审查。通过我们的实证研究，我们发现使用通过各种方法策划的数据集集合，结合利用多种评估规则设计和多样化的评估者组合的彻底评估方案，可以揭示通过较窄的评估方法可能会遗漏的偏见。我们的经验强调了使用多样化的评估方法和涉及不同背景和专业知识的评估者的重要性。我们强调，虽然我们的框架可以识别特定形式的偏见，但这并不足以全面评估AI系统的部署是否促进公平的健康结果。我们希望更广泛的社区利用和建立这些工具和方法，以实现促进所有人获得可访问和公平的医疗保健的LLMs的共同目标。

本论文旨在解决长文本LLM生成的答案中存在的偏见问题，进而促进健康公平。论文提出了一种人工评估框架和包含七个数据集的EquityMedQA，以检测LLM生成答案中的偏见。

论文提出了一种多因素评估框架，通过多种评估方法和不同背景的评估者，检测LLM生成答案中的偏见。同时，使用EquityMedQA数据集，包括手动策划和LLM生成的问题，以检测对抗性查询。

论文使用了Med-PaLM 2数据集进行实证研究，提出了一种多元评估框架，并开源了包含手动策划和LLM生成的问题的EquityMedQA数据集。值得进一步研究的是如何全面评估LLM系统的公平性。

相关研究包括使用多种方法检测LLM生成答案中的偏见，例如反事实查询和对抗性查询。其中一些研究包括“Towards Debiasing Fact Verification Models”和“Mitigating Unwanted Biases with Adversarial Learning”。