SALI: Short-term Alignment and Long-term Interaction Network for Colonoscopy Video Polyp Segmentation

结肠镜视频提供了更丰富的信息，对于直肠癌的诊断有着重要的意义。然而，内窥镜的快速移动和近距离观察使得当前的方法在空间不一致性和连续低质量帧方面存在问题，因此产生了有限的分割精度。在这种情况下，我们专注于通过增强相邻特征的一致性和重建可靠的息肉表示来实现强大的视频息肉分割。为了达到这个目标，在本文中，我们提出了SALI网络，它是短期对齐模块（SAM）和长期交互模块（LIM）的混合体。SAM通过可变形卷积学习相邻帧的空间对齐特征，并进一步协调它们以捕获更稳定的短期息肉表示。在低质量帧的情况下，LIM将历史息肉表示存储为长期记忆库，并探索回顾性关系，以交互式地重建当前分割的更可靠的息肉特征。结合SAM和LIM，视频分割的SALI网络显示出对空间变化和低视觉线索的极强鲁棒性。在大规模SUNSEG上进行的基准测试验证了SALI相对于当前最先进技术的优越性，分别将四个测试子集的Dice提高了2.1％，2.5％，4.1％和1.9％。代码位于https://github.com/Scatteredrain/SALI。

提高结肠镜视频多形态息肉分割的准确性和鲁棒性

通过短期对齐模块（SAM）和长期交互模块（LIM）的结合，提高相邻帧特征一致性和可靠的息肉表示，从而实现视频多形态息肉分割的鲁棒性

提出了SALI网络，通过SAM和LIM的结合，实现了视频多形态息肉分割的鲁棒性，并在大规模数据集SUNSEG上验证了其优越性

在相关研究中，也有一些关于结肠镜视频分割的研究，如“Polyp Segmentation in Colonoscopy Videos Using Temporal Features and Hierarchical Ensemble of Classifiers”和“Automated polyp detection in colonoscopy videos using an ensemble of convolutional neural networks