Standardness Fogs Meaning: A Position Regarding the Informed Usage of Standard Datasets

标准数据集经常用于训练和评估机器学习模型。然而，这些数据集的标准性导致缺乏深入讨论它们的标签如何与相应用例的派生类别相匹配。换句话说，数据集的标准性似乎模糊了连贯性和适用性，从而阻碍了对机器学习模型的信任。我们建议采用基于可视化的扎根理论和假设测试作为评估用例、派生类别和标准数据集标签匹配的方法。为了展示这种方法，我们将其应用于20个新闻组数据集和MNIST数据集。对于20个新闻组数据集，我们证明标签不精确。因此，我们认为机器学习模型既不能学习到派生类别的有意义抽象，也不能从高准确率中得出结论。对于MNIST数据集，我们展示了标签如何被证明定义得很好。我们得出结论，数据集的标准性概念意味着用例、派生类别和类标签之间存在匹配，就像MNIST数据集的情况一样。我们认为这是学习有意义的抽象的必要条件，从而提高对机器学习模型的信任。

评估标准数据集的类别标签与使用情况的匹配度，以提高对机器学习模型的信任度。

采用Grounded Theory和可视化的方法来评估标准数据集的类别标签与使用情况的匹配度，以确定是否存在有意义的抽象，从而提高对机器学习模型的信任度。

使用20 Newsgroups数据集和MNIST数据集来展示该方法。发现20 Newsgroups数据集的标签不够精确，无法得出有意义的抽象，而MNIST数据集的标签定义良好。文章提出了匹配度的概念，认为匹配度是实现有意义抽象的必要条件。

关于数据集标签的匹配度的研究较少，但是有些研究关注了数据集的质量和可靠性，例如《The CIFAR-10 dataset》和《ImageNet: A Large-Scale Hierarchical Image Database》。