LangBiTe: A Platform for Testing Bias in Large Language Models

将大型语言模型（LLMs）集成到各种软件应用程序中引起了人们对其潜在偏见的担忧。通常，这些模型是通过从论坛、网站、社交媒体和其他互联网来源中获取的大量数据进行训练的，这可能会将有害和歧视性行为灌输到模型中。为了解决这个问题，我们提出了LangBiTe，这是一个测试平台，可以系统地评估LLM中存在的偏见。LangBiTe使开发团队能够根据一组用户定义的道德要求定制其测试场景，并自动生成和执行测试用例。每个测试包括将提示输入LLM和相应的测试神谕，后者会仔细审查LLM的响应，以识别其中的偏见。LangBite为用户提供了LLMs的偏见评估，并提供了最初的道德要求和获得的见解之间的端到端可追溯性。

LangBiTe：系统性评估大语言模型中的偏见问题

LangBiTe是一个测试平台，可以根据用户定义的道德要求生成和执行测试用例，以评估大语言模型中的偏见，并提供端到端的追踪。

LangBiTe可以自动生成和执行测试用例来评估大语言模型的偏见。它提供了用户定义的道德要求和模型偏见之间的端到端追踪。该论文的亮点还包括实验设计和使用的数据集。

与该论文相关的研究包括：1. FairTest：一个测试套件，用于评估数据科学工具中的公平性；2. 偏见检测的其他技术，如基于子空间的方法和基于对抗训练的方法。