FeatUp: A Model-Agnostic Framework for Features at Any Resolution

深度特征是计算机视觉研究的基石，能够捕捉图像语义信息，使得研究者即使在零样本或小样本情况下也能解决下游任务。然而，这些特征通常缺乏直接执行分割和深度预测等密集预测任务所需的空间分辨率，因为模型会在大范围内聚合信息。在本研究中，我们介绍了FeatUp，一个任务和模型无关的框架，用于恢复深度特征中丢失的空间信息。我们介绍了两个FeatUp的变体：一个在单次前向传递中引导具有高分辨率信号的特征，另一个则对单个图像拟合一个隐式模型以重构任何分辨率的特征。这两种方法都使用多视角一致性损失和类似于NeRF的深层类比来保留原始语义。我们的特征保留了其原始语义，可以替换到现有应用程序中，即使不重新训练也能获得分辨率和性能提升。我们展示了FeatUp在类激活映射生成、用于分割和深度预测的迁移学习以及用于语义分割的端到端训练中明显优于其他特征上采样和图像超分辨率方法。

论文旨在解决深度特征在密集预测任务中缺乏空间分辨率的问题，提出了FeatUp框架来恢复深度特征的空间信息。

FeatUp框架有两种变体：一种是在单个前向传递中使用高分辨率信号指导特征，另一种是将隐式模型拟合到单个图像以重构任何分辨率的特征。

论文使用多视角一致性损失，保留原始语义特征，可以直接用于现有应用程序中，提高分辨率和性能，甚至无需重新训练。实验结果表明，FeatUp在类激活图生成、转移学习、端到端语义分割等任务中明显优于其他特征上采样和图像超分辨率方法。

最近的相关研究包括DeepLabv3+、DensePose和SuperPoint。