Curating Grounded Synthetic Data with Global Perspectives for Equitable A

机器智能模型的可靠性发展在很大程度上依赖于可用训练数据的质量和多样性。在数据稀缺的领域，合成数据生成提供了一个重要的解决方案。本文介绍了一种基于真实多样性和策略多样化的新方法来创建合成数据集。我们使用涵盖12种语言、来自125个国家的全面新闻文章收集来合成数据，以确保语言和文化的广泛代表性。通过强制主题多样化、翻译和摘要，所得到的数据集准确地反映了现实世界的复杂性，并解决了传统数据集中代表性不足的问题。这种方法首先应用于命名实体识别（NER），为许多需要数据多样化的人工智能学科提供了一个模型。初步结果表明，在传统的NER基准测试中，性能提高了多达7.3％，突显了我们的合成数据在模仿全球数据源的丰富、多样化细微差别方面的有效性。本文概述了用于合成多样化数据集的策略，并提供了一个为NER策划的数据集。

如何解决数据稀缺问题，提高AI模型的鲁棒性？

使用新颖的方法生成多样化的合成数据集，以增加训练数据的多样性和数量。

使用新闻文章生成多语言、多文化的数据集，并通过主题多样化、翻译和摘要等技术，提高数据集的多样性和代表性。在命名实体识别任务中，合成数据集的性能比传统数据集提高了7.3%。

近期的相关研究还包括使用生成对抗网络（GAN）等方法生成合成数据集的研究，如《Generating High-Quality Synthetic Chinese Handwritten Characters using Conditional GANs》。