Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation

本文介绍了一种称为持续测试时间自适应（CTTA）的任务，旨在将预训练模型适应不断变化的目标领域，这对视觉模型来说非常重要。由于当前的视觉模型似乎严重偏向纹理，因此从一个领域分布连续地适应模型到另一个领域分布可能会导致严重的灾难性遗忘。受人类视觉系统根据著名的三色理论善于处理形状和纹理的启发，我们探索了混合激活稀疏专家（MoASE）作为CTTA任务的适配器的集成。由于低/高激活的神经元对特定于领域/领域无关特征的不同反应，MoASE使用非可微的空间差分丢弃（SDD）将神经激活分解为高激活和低激活组件。基于这种分解，我们设计了一个多门结构，包括使用领域信息来自适应地组合处理不同强度的SDD稀疏激活的专家的领域感知门（DAG），以及自适应地为不同的专家分配SDD的特征选择阈值以实现更精确的特征分解的激活稀疏门（ASG）。最后，我们引入了一种基于稳态近端（HP）的损失函数，以解决连续适应模型时累积误差问题。对四个著名基准测试的广泛实验证明，我们的方法在分类和分割CTTA任务中均实现了最先进的性能。我们的代码现在可在https://github.com/RoyZry98/MoASE-Pytorch上获得。

论文旨在解决视觉模型在不同目标域之间进行连续测试时适应的问题，以及避免灾难性遗忘现象的发生。

论文提出了一种基于混合激活稀疏专家（MoASE）的适配器来解决连续测试时适应的问题。该方法利用SDD对神经元激活进行高激活和低激活分解，并根据领域信息使用多门结构来自适应地组合处理不同强度的后SDD稀疏激活的专家，并使用ASG自适应地为不同的专家分配特征选择阈值。

论文在四个基准测试中进行了广泛的实验，证明了该方法在分类和分割CTTA任务中实现了最先进的性能。此外，论文提出了一种Homeostatic-Proximal（HP）损失来解决在连续适应模型时错误积累的问题。代码已在GitHub上开源。

在最近的相关研究中，还有一些关于CTTA任务的研究。例如，“Adversarial Continual Learning for Efficient Object Recognition”和“Continual Learning with Adaptive Weights Adjustment”等。