Investigating the Benefits of Projection Head for Representation Learning

一种获得高质量表示的有效技术是在训练期间在编码器顶部添加投影头，然后丢弃它并使用预投影表示。尽管已证明此技术在实践中有效，但其成功背后的原因尚不清楚。预投影表示不直接由损失函数进行优化，这引发了一个问题：是什么使它们更好？在这项工作中，我们对这个问题提供了一个严格的理论答案。我们从使用自监督对比损失训练的线性模型开始。我们揭示了训练算法的隐式偏差导致逐层递进的特征加权，随着我们深入到层中，特征变得越来越不平等。因此，较低的层倾向于具有更多归一化和不太专业化的表示。我们在理论上表征了这种表示更有益的情况，突出了数据增强和输入特征之间的复杂相互作用。此外，我们证明将非线性引入网络可以使较低的层学习到在更高层中完全不存在的特征。最后，我们展示了这种机制如何提高监督对比学习和监督学习中的鲁棒性。我们通过对CIFAR-10/100、UrbanCars和ImageNet的不同实验进行了实证验证。我们还介绍了一种潜在的投影头替代方案，该方案提供了更可解释和可控的设计。

论文旨在解决添加投影头（projection head）的训练技术为什么能够提高表示质量的问题，并探究这种技术的理论原因。

在自监督对比损失训练的线性模型中，训练算法的隐含偏差导致层次递进的特征加权，使得较低层次的表示更加规范化和不太专业化，而这种表示在某些情况下更具有优势。此外，引入非线性可以使得较低层次学习到更高层次缺失的特征。这种机制可以提高监督对比学习和监督学习的鲁棒性。

论文通过实验验证了理论结果，并在CIFAR-10/100，UrbanCars和ImageNet的变形版本上进行了测试。论文还介绍了一种潜在的投影头替代方案。

在这个领域中，最近的相关研究包括：SimCLR，MoCo，BYOL等。