The Effect of Intrinsic Dataset Properties on Generalization: Unraveling Learning Differences Between Natural and Medical Images

本文研究了神经网络从不同成像领域学习时的差异，这在将计算机视觉技术从自然图像领域应用于其他专业领域（如医学图像）时经常被忽视。最近的研究发现，训练网络的泛化误差通常随其训练集的内在维数（$d_{data}$）增加而增加。然而，这种关系的陡峭程度在医学（放射学）和自然成像领域之间存在显著差异，目前没有理论解释。我们通过建立和经验证一个关于$d_{data}$的泛化缩放定律来填补这一空白，并提出医学成像数据集的内在“标签锐度”（$K_F$）可能部分地解释了这两个考虑的领域之间的显著缩放差异，我们提出了这个度量标准。接下来，我们展示了衡量训练集的标签锐度的另一个好处：它与训练模型的对抗鲁棒性呈负相关，这显然导致医学图像模型对对抗性攻击的易受攻击性明显更高。最后，我们将$d_{data}$的形式化推广到学习表示的内在维数（$d_{repr}$）的相关度量上，推导出一个关于$d_{repr}$的泛化缩放定律，并显示$d_{data}$作为$d_{repr}$的上限。我们的理论结果得到了六个模型和十一个自然和医学成像数据集的全面实验支持，这些实验涵盖了不同的训练集大小。我们的发现提供了关于内在数据集属性对深度神经网络的泛化、表示学习和鲁棒性的影响的洞见。

本论文旨在研究神经网络从不同成像领域学习时存在的差异，特别是医学成像和自然图像领域之间的差异，探讨这种差异的原因和影响。

通过建立和验证一个关于数据固有维度的泛化缩放定律，并提出医学成像数据集固有标签清晰度的概念，论文发现医学成像数据集的标签清晰度高于自然图像数据集，这是导致两个领域之间缩放差异的部分原因。此外，论文还发现标签清晰度与模型的鲁棒性负相关，这导致医学图像模型更容易受到对抗攻击。最后，论文将数据固有维度的概念扩展到学习表示固有维度，并提出数据固有维度是学习表示固有维度的上限。

论文使用了六个模型和十一个自然图像和医学图像数据集进行了实验，证明了其理论结果。论文提出的标签清晰度概念和数据固有维度的泛化缩放定律为解释神经网络学习的泛化、表示学习和鲁棒性等问题提供了新的视角。

最近的相关研究包括“On the Generalization Benefit of Noise Injection in Generalized Linear Models”、“Understanding Deep Learning Requires Rethinking Generalization”等。