Unveiling and Mitigating Bias in Mental Health Analysis with Large Language Models

大型语言模型（LLMs）的进步已经展示了在各种应用中的强大能力，包括心理健康分析。然而，现有的研究集中在预测性能上，对公平性这一关键问题的探讨还不够，这给弱势人群带来了重大风险。尽管承认潜在的偏见，但以往的工作缺乏对这些偏见及其影响的彻底调查。为了解决这一问题，我们使用十种不同提示方法的七个社会因素（例如性别、年龄、宗教）对八个不同的心理健康数据集进行了系统评估，以评估偏见。我们的结果显示，GPT-4在LLMs中实现了最佳的性能和公平性平衡，尽管在某些情况下仍然落后于领域特定模型，如MentalRoBERTa。此外，我们量身定制的公平感知提示可以有效地减轻心理健康预测中的偏见，凸显了在这一领域进行公平分析的巨大潜力。

论文旨在系统评估十个不同提示方法的十个大语言模型在八个不同的心理健康数据集上对七个社会因素（如性别、年龄、宗教）的偏见情况，并提出公平感知提示以减轻偏见。这是一个新的问题，因为现有的研究主要关注预测性能，而忽视了公平性问题。

论文的关键思路是通过系统评估多个大语言模型和提示方法的性能和公平性，提出公平感知提示方法以减轻偏见。相比当前领域的研究，这篇论文的思路有新意，因为它不仅关注预测性能，还专注于评估公平性问题。

论文使用了十个大语言模型和不同的提示方法，在八个不同的心理健康数据集上评估了七个社会因素的偏见情况，提出了公平感知提示方法以减轻偏见。实验结果表明，GPT-4在性能和公平性之间取得了最佳平衡，但在某些情况下仍落后于专门领域的模型，如MentalRoBERTa。值得进一步研究的工作包括如何进一步提高大语言模型的公平性和如何在其他领域应用公平感知提示。

最近在这个领域中，还有一些相关研究，如《Fairness in Mental Health Care: A Systematic Mapping Review》和《Fairness in Machine Learning for Mental Health: An Overview of Current Literature》。