Navigating Dataset Documentations in AI: A Large-Scale Analysis of Dataset Cards on Hugging Face

机器学习的进步与数据集的创建密切相关。虽然数据文档被广泛认为对机器学习的可靠性、可重复性和透明度至关重要，但我们缺乏对当前数据集文档实践的系统经验理解。为了阐明这个问题，本文以Hugging Face为例，对其所有7,433个数据集文档进行了分析，提供了Hugging Face数据集生态系统的概述和数据集文档实践的见解，得出了5个主要发现：(1) 数据集卡片完成率显示出与数据集流行度相关的显著异质性。(2) 对数据集卡片中的每个部分进行细致的检查，发现从业者似乎优先考虑数据集描述和数据集结构部分，而使用数据的注意事项部分的内容比例最低。(3) 通过分析每个部分中的子部分并利用主题建模识别关键主题，我们揭示了每个部分中讨论的内容，并强调了涵盖技术和社会影响以及使用数据部分的限制的重要主题。(4) 我们的研究结果还强调了在使用部分中需要改进数据集可访问性和可重现性。(5) 此外，我们的人工注释评估强调了全面的数据集内容在塑造个人对数据集卡片整体质量的看法方面的关键作用。总的来说，我们的研究通过大规模数据科学分析提供了独特的分析数据集文档的视角，并强调了机器学习研究中需要更全面的数据集文档的必要性。

本论文旨在研究当前机器学习数据集文档化实践的现状，以Hugging Face为案例研究，探讨数据集文档化对机器学习的可靠性、可重复性和透明度的影响。

通过对Hugging Face平台上7433个数据集文档的分析，揭示了数据集文档化实践的现状和存在的问题，包括数据集卡片完成率的异质性、不同部分内容的重要性排序、各部分的主题和关键议题等。

论文通过大规模数据科学分析研究数据集文档化，强调了更加详尽的数据集文档化对机器学习研究的必要性。此外，论文还探讨了数据集文档化对数据集卡片整体质量的影响，以及数据集文档化在使用部分的可访问性和可重复性方面存在的问题。

相关研究包括数据集文档化、数据集质量评估、机器学习可重复性等方面的研究。例如，Dodge等人的“评估机器学习数据集的质量：一个综述”和Gebru等人的“数据卡片：可持续的数据集文档化和管理”等。