FuseUNet: A Multi-Scale Feature Fusion Method for U-like Networks

医学图像分割是计算机视觉中的一个重要任务，而UNet架构作为这一领域的里程碑被广泛应用。UNet系列模型的典型组件是跳跃连接（skip connection），然而，这些跳跃连接存在两个主要局限性：（1）不同尺度特征之间的交互不足；（2）依赖于简单的拼接或加法操作，这限制了信息的有效融合。尽管近期对UNet的改进主要集中于增强编码器和解码器的能力，但上述问题仍未得到充分关注。为了解决这些问题，我们提出了一种新的多尺度特征融合方法，将UNet的解码过程重新设计为求解初值问题（Initial Value Problem, IVP），并将跳跃连接视为离散节点。通过借鉴线性多步法的原理，我们提出了一种自适应常微分方程方法，以实现有效的多尺度特征融合。该方法与编码器和解码器的具体架构无关，因此可以灵活适配各种类似UNet的网络结构。我们在ACDC、KiTS2023、MSD脑肿瘤以及ISIC2017/2018皮肤病变分割数据集上进行了实验，结果表明，我们的方法能够更高效地利用特征，减少网络参数数量，同时保持高性能表现。代码已开源，可访问以下链接获取：https://github.com/nayutayuki/FuseUNet。

论文试图解决UNet架构中 skip connection 的两个关键问题：1) 缺乏不同尺度特征之间的有效交互；2) 简单的特征拼接或加法操作限制了信息融合效率。这些问题在现有改进UNet的研究中被忽视，因此是一个值得关注但尚未充分解决的问题。

论文提出了一种全新的多尺度特征融合方法，将UNet的解码过程重新定义为一个初始值问题（IVP），并利用线性多步法和自适应常微分方程（ODE）方法来优化skip connection的信息传递。这种方法独立于编码器和解码器的具体架构，具有广泛的适配性，从而提升了多尺度特征的融合效果。

1) 提出了基于ODE的多尺度特征融合方法，显著改善了特征利用率；2) 在多个医学图像分割数据集（如ACDC、KiTS2023、MSD脑肿瘤和ISIC2017/2018）上验证了方法的有效性；3) 相比传统方法，减少了网络参数数量，同时保持甚至提升了性能；4) 代码已开源至https://github.com/nayutayuki/FuseUNet，便于复现和进一步研究；5) 方法的通用性使其可以应用于其他U-Net变体的改进。

近期相关研究包括：1) TransUNet（2021），通过引入Transformer增强UNet的全局特征表示能力；2) SwinUNet（2022），结合Swin Transformer实现更高效的特征提取；3) NestedUNet（2019），通过嵌套跳跃连接提升细节捕捉能力；4) Attention UNet（2018），通过注意力机制优化特征融合过程。这些研究主要集中在改进编码器或解码器，而本论文则聚焦于优化skip connection本身。