Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis

现代人工智能领域的许多进展都源于一个观察，即扩大现有系统的规模能够带来更好的性能。但是，更好的性能是否必然意味着更优的内部表征？尽管表征乐观主义者认为这是必然的，本文却对这一观点提出了挑战。我们将通过开放性搜索过程演化出的神经网络与通过传统随机梯度下降（SGD）训练的神经网络进行比较，任务是生成一张单一图像的简单任务。这种极简的设置提供了一个独特的优势：每个隐藏神经元的完整功能行为可以轻松地以图像的形式可视化，从而揭示网络的输出行为是如何通过每个神经元逐步构建的。结果令人震惊：尽管两种网络产生了相同的输出行为，它们的内部表征却存在显著差异。SGD训练的网络表现出一种我们称之为“破碎纠缠表征”（FER）的无序形式。有趣的是，演化得到的网络大多不具有FER，甚至接近于“统一分解表征”（UFR）。在大型模型中，FER可能会削弱模型的核心能力，例如泛化能力、创造力以及持续学习能力。因此，理解和缓解FER可能是未来表征学习发展的关键所在。

该论文探讨了通过扩大模型规模提升性能是否必然导致更好的内部表示这一问题。这是一个值得深入研究的问题，因为它挑战了当前AI领域的主流假设，即性能提升与更好的表示学习直接相关。

论文通过比较通过进化算法生成的网络和传统SGD训练的网络，在简单图像生成任务中揭示了两者的内部表示差异。提出了一种称为‘断裂纠缠表示（FER）’的现象，并指出其可能对模型的核心能力（如泛化、创造力和持续学习）产生负面影响。这是首次明确区分优化目标和表示质量的研究之一。

1. 提出了一个全新的概念——断裂纠缠表示（FER），并对比了进化网络中的统一因子化表示（UFR）。2. 使用简单的图像生成任务作为实验环境，能够清晰可视化每个神经元的行为。3. 实验设计独特，允许直接观察隐藏层神经元的功能行为。4. 没有提到具体数据集或开源代码，但为进一步研究提供了方向，例如如何设计避免FER的训练方法。

近期相关研究包括：1. 'The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks' 探讨稀疏性与高效训练的关系。2. 'Understanding Deep Learning Requires Rethinking Generalization' 关注深度学习模型的泛化能力。3. 'Neural Architecture Search with Reinforcement Learning' 利用强化学习寻找更优网络结构。这些工作都间接涉及模型表示学习和优化策略的影响。