Cross-Entropy Is All You Need To Invert the Data Generating Process

监督学习已成为现代机器学习的基石，但对其有效性的全面理论解释仍难以捉摸。诸如神经类比和线性表示假设等经验现象表明，监督模型可以以线性方式学习可解释的变化因素。最近在自监督学习方面，尤其是非线性独立成分分析方面的进展显示，这些方法可以通过逆向数据生成过程来恢复潜在结构。我们将这些可识别性结果扩展到参数化实例判别，并展示了这些见解如何转移到普遍存在的使用交叉熵最小化的监督学习设置中。我们证明，即使在标准分类任务中，模型也能学到真实变化因素的表示，最多相差一个线性变换。我们通过一系列实证研究来验证我们的理论贡献。首先，使用符合我们理论假设的模拟数据，我们展示了潜在因素的成功解缠。其次，我们在广泛使用的解缠基准DisLib上展示，简单的分类任务能够恢复最多相差线性变换的潜在结构。最后，我们揭示了在ImageNet上训练的模型编码的表示允许对代理变化因素进行线性解码。总体而言，我们的理论发现和实验为近期观察到的线性表示现象，如神经网络中的叠加现象，提供了一个令人信服的解释。这项工作朝着构建一个能够解释监督深度学习异常有效性的一致理论迈出了重要一步。

该论文旨在解释监督学习为何能有效捕捉数据中的可解释因素，并探讨其背后的理论基础。这并不是一个全新的问题，但论文试图从一个新的角度提供更深层次的理解。

论文的关键思路是通过扩展自监督学习中的非线性独立成分分析（ICA）结果，证明监督学习模型在标准分类任务中也能学习到数据生成过程中的真实因素，且这些因素可以表示为线性变换。这一思路结合了自监督学习和监督学习的优势，为理解监督学习的有效性提供了新的视角。

论文通过一系列实验证明了其理论假设，包括使用模拟数据验证了潜在因素的成功解缠；在DisLib基准上展示了简单分类任务能够恢复潜在结构；以及在ImageNet数据集上的实验表明模型能够线性解码代理因素。此外，论文还提供了开源代码，便于其他研究者复现和进一步探索。未来的研究可以深入探讨不同数据集和任务下的线性表示现象，以及如何利用这些发现改进模型设计。

近期在这个领域的一些相关研究包括：1.《Nonlinear ICA Using Auxiliary Variables and Generalized Contrastive Learning》（Hyvarinen et al., 2019），探讨了非线性ICA的理论和方法；2.《On the Identifiability of Representation Learning》（Arora et al., 2018），讨论了表示学习中的可识别性问题；3.《Deep Learning through the Lens of Example Difficulty》（Raghu et al., 2020），研究了深度学习模型对不同难度样本的处理方式。