A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling

特征上采样是几乎所有当前用于图像分割任务的网络结构的基本且不可或缺的组成部分。最近，提出了一种流行的基于相似性的特征上采样流程，该流程利用高分辨率特征作为指导，以帮助基于局部相似性对低分辨率深度特征进行上采样。尽管取得了良好的性能，但是该流程具有特定的限制：1）HR查询和LR键特征未对齐；2）查询-键特征之间的相似性是基于固定的内积形式计算的；3）邻居选择是在LR特征上粗略操作的，导致马赛克伪影。这些缺点使得沿着这条流程的现有方法主要适用于具有迭代特征作为指导的分层网络体系结构，并且不容易扩展到更广泛的结构范围，特别是用于直接高比例上采样。针对这些问题，我们精心优化了每个方法设计。具体而言，我们首先从语义感知和细节感知的角度提出了一个明确可控的查询-键特征对齐，然后构建了一个参数化的配对中心差分卷积块，用于灵活计算对齐良好的查询-键特征之间的相似性。此外，我们还开发了一种基于HR特征的细粒度邻居选择策略，简单而有效地缓解了马赛克伪影。基于这些精心设计，我们系统地构建了一个名为ReSFU的刷新后的基于相似性的特征上采样框架。广泛的实验证明，我们提出的ReSFU可以在直接高比例上采样的方式下，精细地适用于各种类型的体系结构，并在不同的分割应用中始终实现了令人满意的性能，显示出卓越的通用性和易于部署性。

本论文旨在解决图像分割任务中特征上采样的问题，现有的相似性特征上采样方法存在HR查询和LR键特征不对齐、相似性计算方式固定、LR特征的邻居选择粗略等问题，限制了其适用范围和性能表现。

本文提出了一种新的相似性特征上采样框架ReSFU，优化了HR查询和LR键特征对齐、相似性计算和邻居选择等方面的设计，使其适用于各种类型的网络结构和直接高比例上采样。

本文的亮点包括提出了一种可控的查询-键特征对齐方式、构建了一个参数化的配对中心差分卷积块用于灵活计算对齐后的特征之间的相似性、开发了一种细粒度的HR特征邻居选择策略，有效减少了马赛克伪影。实验结果表明，ReSFU在不同的分割任务中表现出色，具有很好的通用性和易用性。

与本文相关的研究包括基于相似性的特征上采样方法的改进和优化，如CBAM和SKNet等。