Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation

大型语言模型（LLMs）已经彻底改变了人工智能，展示了惊人的计算能力和语言能力。然而，这些模型本质上容易受到来自训练数据的各种偏见的影响。这些偏见包括选择偏见、语言偏见、确认偏见以及与性别、种族、性取向、宗教、社会经济地位、残疾和年龄有关的常见刻板印象。本研究探讨了最新LLMs所给出的回答中存在的这些偏见，分析了它们对公正性和可靠性的影响。我们还调查了已知的提示工程技术如何被利用来有效地揭示LLMs的隐藏偏见，测试它们对专门为偏见引发而设计的越狱提示的对抗鲁棒性。我们在不同规模的最广泛使用的LLMs上进行了大量实验，证实尽管它们具有先进的能力和复杂的对齐过程，LLMs仍然可以被操纵以产生偏见或不适当的回答。我们的发现强调了增强缓解技术以解决这些安全问题的重要性，以实现更可持续和包容的人工智能。

本论文旨在探究最新的大型语言模型（LLMs）在哪些方面存在偏见，以及这些偏见如何影响它们的公正性和可靠性。同时，论文还探讨了如何利用已知的提示工程技术有效地揭示LLMs的隐藏偏见，并测试其对针对偏见的狱中突破提示的对抗鲁棒性。

本论文的关键思路是通过分析LLMs的回答，发现它们的训练数据中存在的选择、语言和确认偏见以及与性别、种族、性取向、宗教、社会经济地位、残疾和年龄相关的常见刻板印象，并通过提示工程技术揭示这些偏见。

论文使用了各种规模的最广泛使用的LLMs进行了大量实验，证实LLMs仍然可能会被操纵以产生有偏见或不当的回答，尽管它们具有先进的能力和复杂的对齐过程。此外，论文强调了加强缓解技术以解决这些安全问题的重要性，以实现更可持续和包容的人工智能。

最近在这个领域中，还有一些相关的研究，例如《Language models are few-shot learners》、《The GEM benchmark: Natural language generation, its evaluation and metrics》等。