IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language

仇恨言论对社会和谐构成了重大威胁。过去两年，印度尼西亚在线仇恨言论比例增加了十倍，突显出有效的检测机制的紧迫性。然而，印尼文标记数据的可用性有限，这阻碍了进展。对于少数边缘化群体，如什叶派、LGBTQ和其他少数族裔，情况更加糟糕，因为仇恨言论往往被少报并且检测工具对其理解不足。此外，当前数据集中缺乏主观性的考虑，加剧了这个问题。为了解决这个问题，我们介绍了IndoToxic2024，这是一个全面的印尼仇恨言论和有害性分类数据集。该数据集由19位不同的个体注释了43,692个条目，重点关注印尼针对弱势群体的文本，特别是在该国最热门的政治事件——总统选举期间。我们为七个二元分类任务建立了基线，使用BERT模型（IndoBERTweet）微调进行仇恨言论分类，取得了0.78的宏F1分数。此外，我们还展示了如何将人口统计信息纳入大型语言模型gpt-3.5-turbo中，以增强零-shot性能。然而，我们也警告说，过度强调人口统计信息可能会对微调模型的性能产生负面影响，因为数据会变得分散。

论文旨在解决印尼社交媒体上仇恨言论的识别问题，尤其是针对弱势群体的言论，由于缺乏标记数据，使得现有的检测机制进展缓慢。

论文提出了IndoToxic2024数据集，并使用BERT模型和gpt-3.5-turbo模型进行分类任务，同时探讨了加入人口统计信息对模型性能的影响。

IndoToxic2024数据集包含了43,692个标注数据，注重针对印尼弱势群体的言论，实验结果表明BERT模型在七个二分类任务中取得了0.78的宏F1分数，同时加入人口统计信息能够提高gpt-3.5-turbo模型的零样本性能。

在相关研究中，近期的一些论文包括：'Hate Speech Detection: A solved problem?'、'A Survey on Automatic Detection of Hate Speech in Text'、'A Benchmark Dataset and Evaluation for Direct Speech Act Recognition'等。