Salience-Based Adaptive Masking: Revisiting Token Dynamics for Enhanced Pre-training

本文介绍了基于显著性自适应遮盖（SBAM）的方法，这是一种新颖且经济有效的方法，通过优先考虑标记显著性，显著提高了遮盖图像建模（MIM）方法的预训练性能。我们的方法能够有效地缓解现有方法中常见的遮盖比率变化引起的性能不稳定问题，从而提供了对MIM预训练的遮盖比率的鲁棒性。这进一步允许我们提出一种自适应策略，为每个数据样本提供“定制”的遮盖比率，这是现有方法所无法提供的。为实现这一目标，我们提出了一种自适应遮盖比率（AMR）策略，根据标记显著性动态调整每个图像的独特内容的遮盖比例。我们展示了我们的方法在ImageNet-1K数据集上的基于遮盖的预训练中显著优于现有技术水平。

本文旨在通过优先考虑标记的显著性来提高基于掩码图像建模（MIM）方法的预训练性能，从而解决现有方法中常见的性能不稳定性问题。

本文提出了一种新的方法 SBAM，通过自适应掩蔽比率和自适应掩蔽比率策略 AMR 来提高 MIM 方法的预训练性能。

本文的实验结果表明，SBAM 方法在 ImageNet-1K 数据集上的预训练性能显著优于当前现有方法。此外，本文提出的 AMR 策略可以为每个数据样本动态调整掩蔽比率，这是当前任何现有方法都无法提供的。

最近在这个领域中，也有一些相关的研究，例如《Masked Transformer》和《BERT》等。