Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification

大型语言模型（LLMs）已经展示了在自然语言查询任务中出色的能力。然而，这些模型是在策划的数据集上训练的，固有地包含从种族到国家和性别等方面的偏见。目前尚不确定这些偏见是否会影响LLMs在某些任务中的表现。在本研究中，我们调查LLMs在立场分类任务中的政治偏见，特别是检查这些模型是否倾向于更准确地分类政治立场。利用三个数据集、七个LLMs和四个不同的提示方案，我们分析了LLMs在政治导向的语句和目标上的表现。我们的研究结果显示，LLMs在不同的政治立场分类任务中的表现存在明显的差异。此外，我们观察到这种差异主要体现在数据集层面上，模型和提示方案在不同的立场分类数据集中表现出类似的统计性能。最后，我们观察到，当语句指向的目标更加模糊时，LLMs的立场分类准确性会降低。

本文旨在研究大型语言模型（LLMs）在态度分类任务中的政治偏见，特别是是否存在更准确地分类政治立场的趋势。同时，探讨LLMs中存在的偏见对特定任务性能的影响。

通过使用三个数据集，七个LLMs和四种提示方案，分析LLMs在面向政治的陈述和目标上的表现。发现在不同的政治立场分类任务中，LLMs的表现存在显著差异。此外，发现该差异主要体现在数据集层面，不同的模型和提示方案在不同立场分类数据集上的性能表现相似。

本文的实验设计详细，使用了多个数据集和模型，结果表明LLMs在不同的政治立场分类任务中表现不同。研究发现，当陈述的目标存在更大的歧义时，LLMs的立场分类准确性较差。

最近的相关研究主要集中在LLMs的偏见问题上，如性别、种族、民族等。也有一些研究关注LLMs的性能问题，如过拟合和泛化能力。