Causal-Guided Active Learning for Debiasing Large Language Models

尽管最近的分析显示，当前的生成式大语言模型（LLM）表现出了很好的性能，但它们可能仍然捕捉到数据集偏见并利用它们进行生成，导致LLM的泛化能力不佳和有害性。然而，由于数据集偏见的多样性和过度优化问题，以前的基于先验知识的去偏置方法和微调方法可能不适用于当前的LLM。为了解决这个问题，我们探索将主动学习与因果机制相结合，提出了一个因果引导的主动学习（CAL）框架，该框架利用LLM本身自动、自主地识别信息量大的有偏样本并引导偏差模式。然后，采用一种成本效益高、高效的上下文学习方法，防止LLM在生成过程中利用数据集偏见。实验结果表明，CAL可以有效地识别典型的有偏实例并引导各种偏差模式，用于去偏置LLM。

本论文旨在解决当前大型语言模型（LLMs）存在的数据集偏差问题，这些偏差可能导致LLMs生成的内容不具有广泛适用性和有害性。

本论文提出了一种基于因果机制和主动学习相结合的框架——因果引导主动学习（CAL），通过LLMs自身自动识别有信息量的偏差样本和诱导偏差模式的方式，有效地识别典型的偏差实例并诱导各种偏差模式，以防止LLMs在生成过程中利用数据集偏差。

本论文的亮点在于提出了一种新的解决方案来处理LLMs存在的数据集偏差问题，即因果引导主动学习（CAL）；通过实验验证了CAL的有效性，证明其可以有效地识别和减少LLMs中的偏差；使用了多个数据集进行实验，并且开源了代码；本论文的思路可以为解决其他领域的数据集偏差问题提供新思路。

在这个领域中，还有一些相关的研究，例如《Mitigating Unwanted Biases with Adversarial Learning》、《Fairness without Demographics in Repeated Loss Minimization》等。