Cross-Domain Few-Shot Semantic Segmentation via Doubly Matching Transformation

本文提出了一种名为“双重匹配变换网络（DMTNet）”的方法，旨在解决跨领域少样本语义分割（CD-FSS）中对支持图像过度依赖的问题。该方法通过自我匹配变换（SMT）构建基于查询图像本身的查询特定变换矩阵，将领域特定的查询特征转换为领域不可知的特征，从而避免了完全依赖支持图像可能导致的过度拟合和忽略类内外观差异的问题。在获得领域不可知特征后，使用双重超相关构建（DHC）模块探索查询图像与支持图像前景和背景之间的超相关性，生成前景和背景预测图，分别进行监督以增强分割结果。此外，本文还提出了一种名为“测试时间自微调（TSF）”的策略，以更准确地自我调整查询预测结果。在四个流行数据集上的广泛实验表明，DMTNet优于现有最先进方法。该研究代码可在https://github.com/ChenJiayi68/DMTNet上获得。

本论文旨在解决跨域少样本语义分割问题，提出了一种新的方法，即自匹配变换网络（DMTNet），以减少过度拟合和忽略类内外观差异的问题。

DMTNet提出了自匹配变换（SMT）来构建基于查询图像本身的查询特征转换矩阵，将特定于域的查询特征转换为域不可知的特征。同时，利用双重超相关构建（DHC）模块探索查询图像与支持图像的前景和背景之间的超相关性，并生成前景和背景预测图，以增强分割结果。最后，提出了测试时自微调（TSF）策略来更准确地自调整查询预测。

论文在四个流行数据集上进行了广泛的实验，证明DMTNet在跨域少样本语义分割任务上具有优异的性能，并提供了开源代码。值得进一步研究的工作包括如何更好地利用支持图像和如何进一步提高模型的泛化能力。

在这个领域的相关研究包括：Few-shot Semantic Segmentation（FSS）、Cross-domain Semantic Segmentation（CDSS）和Meta-learning-based FSS。