Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback

生成建模的进步，特别是扩散模型的出现，引发了一个根本性的问题：如何有效地将这些模型用于辨别任务？在这项工作中，我们发现生成模型可以成为辨别模型的出色测试时间适配器。我们的方法Diffusion-TTA，利用扩散模型的生成反馈，将预训练的辨别模型（如图像分类器、分割器和深度预测器）适应于测试集中的每个未标记示例。我们通过使用辨别模型的输出来调节扩散模型的条件来实现这一点。然后，我们通过将梯度反向传播到辨别模型的参数来最大化图像似然目标。我们展示了Diffusion-TTA显著提高了各种大规模预训练的辨别模型的准确性，如ImageNet分类器、CLIP模型、图像像素标签器和图像深度预测器。Diffusion-TTA优于现有的测试时间适应方法，包括TTT-MAE和TENT，并在在线适应设置中表现出色，其中辨别模型不断适应测试集中的每个示例。我们在网站https://diffusion-tta.github.io/上提供了代码、结果和可视化。

如何有效地将生成模型用于判别任务？

使用扩散模型作为测试时适配器，通过生成模型的反馈调节判别模型的条件，并通过反向传播梯度更新判别模型的参数，从而提高各种大规模预训练判别模型的准确性。

Diffusion-TTA方法在各种大规模预训练判别模型上显著提高了准确性，特别是在在线自适应设置中表现出色。研究人员提供了代码、结果和可视化，并使用了多个数据集进行实验。

与Diffusion-TTA相关的研究包括TTT-MAE和TENT等测试时适应方法。