CBM: Curriculum by Masking

我们提出了一种名为Curriculum by Masking（CBM）的新型课程学习策略，通过块（标记）掩蔽有效地创建易于困难的训练计划，从而比传统训练方案和以前的课程学习（CL）方法提供了显著的准确性改进。CBM利用梯度大小来通过新颖的掩蔽算法和新颖的掩蔽块来优先掩蔽显著的图像区域。我们的方法可以通过块掩蔽比例控制样本难度，通过逐步引入更难的样本来生成有效的易于困难的课程表，随着训练的进行逐渐提高难度。CBM的运作只需两个易于配置的参数，即块的数量和课程表，使其成为用于目标识别和检测的多功能课程学习方法。我们在五个基准数据集（CIFAR-10、CIFAR-100、ImageNet、Food-101和PASCAL VOC）上使用各种神经架构进行实验，从卷积网络到视觉变换器，以比较CBM与传统的以及基于课程的训练方案。我们的结果揭示了我们的策略相对于最先进的课程学习方案的优越性。我们还观察到在迁移学习环境中的改进，CBM在准确性方面比以前的工作有了相当大的提高。我们发布了我们的代码，供免费非商业使用，网址为https://github.com/CroitoruAlin/CBM。

本文旨在通过遮蔽(patch masking)的方式，提出一种新的课程学习策略(Curriculum by Masking, CBM)，创建易于难的训练计划，从而在目标识别和检测任务中提高准确性。

CBM利用梯度大小来优先遮蔽显著的图像区域，通过一种新的遮蔽算法和遮蔽块，逐渐引入更难的样本，控制样本难度，生成有效的易于难的课程表。CBM有两个易于配置的参数，即遮蔽块的数量和课程表，是一种通用的课程学习方法。

本文使用各种神经网络架构，从卷积网络到视觉变换器，在五个基准数据集(CIFAR-10、CIFAR-100、ImageNet、Food-101和PASCAL VOC)上进行实验，将CBM与传统的训练方法和课程学习方法进行比较。实验结果表明，CBM优于现有的课程学习方法。在迁移学习方面，CBM在准确性方面显著超过以前的工作。作者还在GitHub上发布了代码。

在最近的相关研究中，还有一些基于课程学习的方法，如Self-Paced Learning和Dynamic Curriculum Learning。