GDA: Generalized Diffusion for Robust Test-time Adaptation

机器学习模型在遇到分布偏移的样本时，往往难以实现泛化。针对视觉任务，最近的研究表明，采用扩散模型的测试时适应性能够通过生成与模型域相符的新样本，从而在不需要修改模型权重的情况下，实现对OOD样本的最先进准确性提升。不幸的是，这些研究主要关注像素级别的污染，因此缺乏适应更广泛的OOD类型的泛化能力。本文介绍了一种新的基于扩散的测试时适应方法——广义扩散适应（GDA），它可以抵御各种不同类型的OOD。具体来说，GDA通过在反向采样过程中应用模型推导的边际熵损失，以及样式和内容保持损失，迭代地指导扩散。换句话说，GDA将样本的语义信息与模型的输出行为考虑在内，可以在生成过程中减少下游任务中的歧义。在各种流行的模型架构和OOD基准测试中的评估表明，GDA始终优于先前基于扩散的适应性方法。值得注意的是，它在ImageNet-C基准测试上的分类准确率提高最高，范围从4.4％到5.02％，在Rendition、Sketch和Stylized基准测试上的提高范围为2.5％到7.4％。这种表现突显了GDA对更广泛的OOD基准测试的泛化能力。

本论文旨在解决机器学习模型在遇到分布偏移的out-of-distribution (OOD)样本时，其泛化能力下降的问题。同时，该论文试图提出一种新的diffusion-based测试时间适应方法，以适应更广泛的OOD类型。

论文的解决方案是Generalized Diffusion Adaptation（GDA），一种新的diffusion-based测试时间适应方法，其在逆采样过程中应用了来自模型的边缘熵损失和样式保持和内容保持损失，以引导扩散过程。与之前的方法相比，GDA考虑了样本的语义信息和模型的输出行为，从而在生成过程中减少了下游任务的歧义性。

论文对各种流行的模型架构和OOD基准进行了评估，结果表明GDA在diffusion-driven适应方面始终优于之前的方法。在ImageNet-C和Rendition、Sketch、Stylized基准测试中，它分别实现了最高的分类精度提高，范围从4.4％到5.02％和2.5％到7.4％。此外，论文还提供了开源代码。

与该论文相关的研究包括：Diffusion Models for Image Denoising，Noise2Noise: Learning Image Restoration without Clean Data等。