Curating Grounded Synthetic Data with Global Perspectives for Equitable AI

机器学习模型的可靠性在很大程度上取决于可用的训练数据的质量和多样性。在数据稀缺的领域，合成数据生成提供了一个重要的解决方案。本文介绍了一种新颖的创建合成数据集的方法，基于真实世界的多样性并通过战略多样化进行丰富。我们使用涵盖12种语言并来自125个国家的全面新闻文章集合来合成数据，以确保语言和文化的广度和代表性。通过强制主题多样化、翻译和摘要，所得到的数据集准确地反映了真实世界的复杂性，并解决了传统数据集中的欠表示问题。这种方法首先应用于命名实体识别（NER），为数据多样化对于泛化能力至关重要的众多人工智能学科提供了一个模型。初步结果表明，在传统的NER基准测试中，性能有了显著的提高，最高可达7.3%，突显了我们合成数据在模拟全球数据来源的丰富、多样细微差别方面的有效性。本文概述了用于合成多样数据集的策略，并为NER提供了这样一个策划好的数据集。

如何解决数据稀缺问题，提高AI模型的鲁棒性？

使用丰富多样的新闻文章数据，通过强制主题多样化、翻译和摘要等方法生成合成数据集，以应对传统数据集中的代表性不足问题。这种方法可应用于许多需要数据多样化的AI领域，如命名实体识别。

使用12种语言和来自125个国家的新闻文章生成数据集，能够准确反映真实世界的复杂性。在命名实体识别任务中，合成数据集的表现优于传统数据集，提高了7.3%。论文提供了一个经过精心筛选的数据集。

相关研究包括使用GAN生成合成数据集、使用迁移学习和元学习等方法解决数据稀缺问题等。