Analyzing Social Biases in Japanese Large Language Models

随着大型语言模型（LLMs）的发展，LLMs中的社会偏见已经成为一个关键问题。虽然各种语言的社会偏见基准已经提供了，但是日语LLMs展现出社会偏见的程度尚未得到完全调查。本研究基于英语偏见基准BBQ，构建了日语偏见基准问答数据集（JBBQ），并分析了日语LLMs中的社会偏见。结果表明，虽然目前的日语LLMs通过指令调整提高了在JBBQ上的准确性，但它们的偏见得分变得更大。此外，通过警告社会偏见来增强提示可以减少某些模型中偏见的影响。

本论文旨在研究日语大型语言模型中的社会偏见问题，构建了日语偏见基准数据集，并分析了当前日语大型语言模型的社会偏见情况。

论文通过构建日语偏见基准数据集，分析了当前日语大型语言模型的社会偏见情况，并探讨了减少社会偏见的方法。

论文使用了日语偏见基准数据集（JBBQ）来评估日语大型语言模型的社会偏见情况，并发现当前的模型在提高准确性的同时，社会偏见得分也在增加。此外，论文还探讨了通过在提示中加入社会偏见警告来减少偏见影响的方法。

在相关研究方面，目前已经提供了多种语言的社会偏见基准数据集。