From Linearity to Non-Linearity: How Masked Autoencoders Capture Spatial Correlations

掩码自编码器（MAEs）已成为视觉基础模型的一种强大预训练方法。尽管效果显著，但在应用于新数据集时，它们需要大量调整超参数（如掩码比例、补丁大小、编码器/解码器层数）。虽然已有理论研究从注意力模式和层次化隐变量模型的角度分析了MAEs，但关于MAE超参数与下游任务性能之间的关系仍缺乏深入探讨。本文研究了MAE如何学习输入图像中的空间相关性。我们通过解析推导得出了线性MAE所学习的特征，并表明掩码比例和补丁大小可用于选择能够捕捉短距离和长距离空间相关性的特征。我们进一步将这一分析扩展到非线性MAE，表明MAE的表示能够适应数据集中超出二阶统计量的空间相关性。最后，我们讨论了一些在实际中选择MAE超参数的见解。

论文试图解决MAE（Masked Autoencoders）在不同数据集上应用时需要大量超参数调优的问题，尤其是masking ratio、patch size、encoder/decoder层数等参数的选择。这个问题在当前研究中尚未被深入探讨，尤其是在MAE如何捕捉图像中的空间相关性方面。

论文通过理论分析，推导了线性MAE所学习的特征，并指出masking ratio和patch size这两个超参数可以控制模型学习短距离和长距离空间相关性的能力。进一步地，论文将这一分析扩展到非线性MAE，证明MAE的表示能够适应数据集中的空间相关性，而不仅仅依赖于二阶统计特性。

1. 首次从理论上分析MAE如何通过超参数选择来捕捉空间相关性。 2. 实验验证了理论分析的有效性，并探讨了如何在实际应用中选择MAE的超参数。 3. 分析结果具有指导意义，可帮助研究者在新数据集上更有效地部署MAE。 4. 论文为MAE的可解释性和可控性提供了新视角，值得后续在自监督学习领域深入研究。

1. Masked Autoencoders Are Scalable Vision Learners 2. BEiT: BERT Pre-Training of Image Transformers 3. Exploring Plain Vision Transformer for Self-Supervised Learning 4. A Survey on Vision Transformer Compression and Acceleration 5. Understanding the Role of Masking in Self-Supervised Learning