U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation

U-Net已成为各种视觉应用（如图像分割和扩散概率模型）中的基石。虽然通过结合变压器或MLP引入了许多创新的设计和改进，但网络仍然受限于线性建模模式以及不足的可解释性。为了解决这些挑战，我们的直觉受到了Kolmogorov-Arnold Networks（KANs）在准确性和可解释性方面的印象深刻的结果的启发，这些结果通过从Kolmogorov-Anold表示定理推导出的非线性可学习激活函数的堆叠来重新塑造神经网络学习。具体而言，在本文中，我们探索了KANs在改进视觉任务的骨干网络中未被开发的潜力。我们通过在标记化的中间表示上集成专用的KAN层来调查、修改和重新设计已建立的U-Net管道，称为U-KAN。严格的医学图像分割基准验证了U-KAN的优越性，即使计算成本较低，也能获得更高的准确性。我们进一步深入探讨了U-KAN作为扩散模型中替代U-Net噪声预测器的潜力，展示了其在生成任务定向模型架构方面的适用性。这些努力揭示了宝贵的见解，并为U-KAN提供了前景，您可以使用它来为医学图像分割和生成创建强大的骨干网络。项目页面：https://yes-ukan.github.io/

本文旨在探索如何通过引入Kolmogorov-Arnold Networks (KANs)来改进U-Net背骨，以提高视觉任务的准确性和可解释性。

本文的关键思路是在U-Net的中间表示上集成KAN层，形成新的U-KAN模型。这种方法利用KAN的非线性可学习激活函数来改进U-Net的线性建模能力和可解释性。

本文通过严格的医学图像分割基准测试验证了U-KAN的卓越性能，即使计算成本较低，也能获得更高的准确性。此外，本文还探讨了U-KAN作为扩散模型中的替代U-Net噪声预测器的潜力，并展示了其在生成任务导向的模型架构方面的适用性。项目页面：https://yes-ukan.github.io/

最近在这个领域中，还有一些相关的研究，例如《Kolmogorov-Arnold Representation Theorem: A Tutorial》、《Transformers for Image Recognition at Scale》等。