Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception

社交媒体上流传的错误信息和虚假信息的普遍传播突显了检测媒体偏见的重要性。虽然强大的大型语言模型（LLMs）已成为偏见预测的基础工具，但对这些模型内在偏见的担忧仍然存在。在这项工作中，我们调查了LLMs内部存在的偏见及其对媒体偏见检测的影响。与传统方法不同，我们不仅关注媒体内容中的偏见检测，还深入探究LLM系统本身的偏见。通过精心的研究，我们探讨LLMs是否存在偏见，特别是在政治偏见预测和文本延续任务中。此外，我们探索不同主题之间的偏见，旨在揭示LLM框架内偏见表达的微妙变化。重要的是，我们提出了去偏见策略，包括提示工程和模型微调。对不同LLMs偏见倾向的广泛分析揭示了语言模型中偏见传播的更广阔的景象。这项研究推进了我们对LLM偏见的理解，为偏见检测任务提供了关键的见解，并为更强大、更公平的AI系统铺平了道路。

本文旨在研究大型语言模型中的偏见存在及其对媒体偏见检测的影响，并提出去偏方法。

本文通过细致的研究探究了大型语言模型是否存在偏见，特别是在政治偏见预测和文本延续任务中。同时，提出了去偏策略，包括提示工程和模型微调。

本文的亮点在于对大型语言模型中偏见的研究，提出了去偏方法，并对不同的大型语言模型进行了广泛的偏见倾向分析。实验使用了多个数据集，为进一步研究提供了基础。

近年来，关于大型语言模型中偏见的研究逐渐增多，如“Mitigating Unwanted Biases with Adversarial Learning”和“Measuring and Reducing Stereotypes in Word Embeddings”。