Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis

序列建模在各个领域都扮演着至关重要的角色，历史上，循环神经网络一直是执行这些任务的主要方法。然而，由于其出色的性能，transformers的出现改变了这一范式。建立在这些进展之上，transformers已经与卷积神经网络一起成为学习视觉表示的两个主要基础模型。然而，transformers的注意力机制的复杂度为$\mathcal{O}(N^2)$，限制了它们的发展，而卷积神经网络则缺乏全局感受野和动态权重分配。状态空间模型(SSMs)，特别是具有选择机制和硬件感知架构的"Mamba"模型，最近在序列建模和视觉表示学习方面引起了极大的关注，通过提供无限的上下文长度并保持输入序列的线性复杂度，大大提高了效率，挑战了transformers的主导地位。借助计算机视觉的进步，医学成像迎来了一个新时代的Mamba模型。本综述旨在帮助研究人员应对这一浪潮，提供关于医学成像中Mamba模型的百科全书式的综述。具体而言，我们从理论上全面回顾了SSMs的基础，包括Mamba架构及其在该领域中的序列建模范式的替代方案。接下来，我们提供了医学领域Mamba模型的结构化分类，并介绍了基于应用、成像模态和目标器官的多样化分类方案。最后，我们总结了关键挑战，讨论了医学领域SSMs的不同未来研究方向，并提出了几个方向来满足该领域的需求。此外，我们还在GitHub存储库中编译了本文讨论的研究及其开源实现。

本文旨在全面回顾Mamba模型在医学影像领域中的应用，包括其理论基础、分类以及未来研究方向。该模型旨在解决序列建模中的长期依赖问题，提供无限的上下文长度和较高的效率。

Mamba模型是一种基于状态空间模型的序列建模方法，通过选择机制和硬件感知架构提供了高效的线性复杂度，从而挑战了transformers在序列建模中的主导地位。

本文提供了Mamba模型在医学领域中的分类方案，包括应用、成像模式和目标器官。此外，本文总结了关键挑战，并提出了未来研究的多个方向。研究使用了多个数据集，并在GitHub上开源了实现代码。

近期的相关研究包括transformers在序列建模中的应用、医学影像领域中的其他序列建模方法，如LSTM和GRU，以及医学影像领域中的其他深度学习模型。