Datasets for Large Language Models: A Comprehensive Survey

本文探讨了大型语言模型（LLM）数据集，这些数据集在LLM的显著进展中起着至关重要的作用。这些数据集类似于维持和培育LLM发展的根系基础设施。因此，对这些数据集的检查成为研究的重要主题。为了解决目前缺乏综合概述和深入分析LLM数据集的问题，并获得对它们当前状态和未来趋势的见解，本调查从五个角度汇总和分类了LLM数据集的基本方面：（1）预训练语料库；（2）指令微调数据集；（3）偏好数据集；（4）评估数据集；（5）传统自然语言处理（NLP）数据集。调查揭示了当前的挑战，并指出了未来研究的潜在途径。此外，还提供了现有可用数据集资源的全面评估，包括444个数据集的统计数据，涵盖8个语言类别和32个领域。数据集统计信息包括20个维度。调查的总数据量超过774.5 TB的预训练语料库和7亿个实例的其他数据集。我们旨在呈现LLM文本数据集的整个景观，作为这一领域研究人员的全面参考，并为未来研究做出贡献。相关资源可在以下网址中找到：https://github.com/lmmlzn/Awesome-LLMs-Datasets。

本论文旨在探索大型语言模型（LLM）数据集，这些数据集对LLM的显著进展起着至关重要的作用。论文试图解决当前缺乏全面概述和彻底分析LLM数据集的问题，并从五个方面整合和分类LLM数据集的基本方面，以了解它们的当前状态和未来趋势。

本论文的关键思路是对LLM数据集进行全面的梳理和分类，包括预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统自然语言处理（NLP）数据集。此外，论文还提供了现有可用数据集资源的全面回顾，包括覆盖8种语言类别和32个领域的444个数据集的统计信息。

本论文的亮点包括：1.提供了LLM文本数据集的全景图，为研究人员提供了全面的参考；2.对现有数据集资源进行了全面回顾，包括详细的统计信息；3.提出了当前面临的挑战和未来研究的潜在方向。

在这个领域中，最近的相关研究包括：1.《The Evolving Landscape of Large Language Models》；2.《GPT-3: Language Models are Few-Shot Learners》；3.《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。