SPT+LSA：用于小规模数据集的视觉Transformer

为了在小数据集上训练 ViT，本文提出了两种新技术(SPT和LSA)来增加 ViT 的局部归纳偏置，可助力Swin、ViT等在小数据集上的涨点！即使在小数据集上也能从头开始学习。

论文下载链接：https://arxiv.org/abs/2112.1349

本文提出了 Shifted Patch Tokenization (SPT) 和 Locality Self-Attention (LSA)，它们有效地解决了缺乏局部归纳偏差的问题，使其即使在小数据集上也能从头开始学习。

此外，SPT 和 LSA 是通用且有效的附加模块，可轻松适用于各种 ViT。