Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining

近年来，生成式自监督学习（SSL）范式的兴起在视觉、语言和多模态领域展示了令人印象深刻的性能。虽然不同的生成式SSL目标设计在下游任务中具有不同的性质，但对这些差异的理论理解仍然很少被探索。在本文中，我们建立了两种领先的生成式SSL范式之间的第一个理论比较：自回归SSL和掩蔽SSL。通过建立理论框架，我们阐明了自回归SSL和掩蔽SSL在分类和内容生成的主要评估任务中的优点和局限性。我们的研究结果表明，在分类任务中，掩蔽SSL中目标标记的灵活性比自回归SSL中目标标记的固定位置更有助于产生更多的样本间连接，从而产生更优越的聚类性能。在内容生成任务中，掩蔽SSL中测试样本的灵活长度与未掩蔽文本的固定长度之间的不对齐（与自回归SSL中有条件文本的灵活长度相比）阻碍了其生成性能。为了利用彼此的优点并减轻弱点，我们提出了增强多样性的自回归和可变长度掩蔽目标，这显著提高了自回归SSL的分类性能和掩蔽SSL的生成性能。代码可在 https://github.com/PKU-ML/LookAheadLookAround 上获得。

本论文旨在比较两种主流的生成自监督学习（SSL）范式：自回归SSL和掩码SSL，以及探究它们在分类和内容生成任务中的优劣。

通过建立理论框架，阐明了自回归SSL和掩码SSL在分类和内容生成任务中的优缺点，提出了多样性增强的自回归和可变长度掩码目标，以弥补它们各自的不足。

论文使用了多个数据集进行实验，提出的多样性增强的自回归和可变长度掩码目标在分类和内容生成任务中均取得了较好的效果，代码已经开源。

最近的相关研究包括使用不同的自监督学习范式进行图像分类和生成的研究。