Dissecting Sample Hardness: A Fine-Grained Analysis of Hardness Characterization Methods for Data-Centric AI

对于难以学习的样本进行特征刻画对于开发高性能机器学习模型至关重要。这导致了许多旨在识别“难”样本的难度刻画方法（HCMs）。然而，“难度”的定义和评估缺乏共识。不幸的是，目前的HCMs仅在特定类型的难度上进行了评估，而且通常只是定性地或者关注于下游性能，忽略了基本的定量识别任务。我们通过提出一个细粒度的难度类型分类来解决这一问题。此外，我们提出了Hardness Characterization Analysis Toolkit（H-CAT），它支持对HCMs进行全面和定量的基准测试，并可以轻松扩展到新的HCMs、难度类型和数据集。我们使用H-CAT评估了8种不同难度类型的13种HCMs。这项全面的评估涵盖了超过14K个设置，揭示了不同HCMs的优缺点，提供了实用的提示来指导HCM选择和未来的发展。我们的研究结果强调了需要进行更全面的HCM评估，同时我们希望我们的难度分类和工具包将推进数据中心人工智能方法的原则性评估和应用。

本论文旨在提出一种细致的难度分类法，并设计了一种评估方法，以量化评估不同难度类型的难度特征，从而评估不同的难度特征识别方法的性能。

文章提出了一种细致的难度分类法，并设计了一种评估方法——Hardness Characterization Analysis Toolkit（H-CAT），以量化评估不同难度类型的难度特征，从而评估不同的难度特征识别方法的性能。

文章提出了一种细致的难度分类法，并设计了一种评估方法，可以量化评估不同难度类型的难度特征，从而评估不同的难度特征识别方法的性能。文章使用H-CAT评估了13种不同的难度特征识别方法在8种难度类型上的性能，并揭示了不同难度特征识别方法的优劣之处，为未来的难度特征识别方法的选择和发展提供了指导。文章的难度分类法和评估工具H-CAT有望促进数据中心人工智能方法的规范评估和应用。

在这个领域中，还有一些相关的研究，例如《A systematic study of the class imbalance problem in convolutional neural networks》、《Active Learning: An Empirical Study of Common Baselines》等。