SSTFB: Leveraging self-supervised pretext learning and temporal self-attention with feature branching for real-time video polyp segmentation

息肉是早期癌症的指标，因此评估息肉的发生和切除至关重要。它们通过结肠镜筛查程序观察到，该程序生成一系列视频帧。在自然视频筛查过程中分割息肉存在几个挑战，例如成像伪影、运动模糊和漂浮的碎片共存。大多数现有的息肉分割算法是在经过筛选的静态图像数据集上开发的，这些数据集不代表真实的结肠镜检查。它们的性能在视频数据上经常下降。我们提出了一种视频息肉分割方法，该方法执行自监督学习作为辅助任务，并使用时空自注意机制进行改进的表示学习。我们的端到端配置和损失的联合优化使网络能够在视频中学习更有区分性的上下文特征。我们的实验结果表明，在几种最先进的方法方面，我们取得了改进。我们的消融研究还证实，所提出的联合端到端训练选择比最近提出的方法PNS+和Polyp-PVT分别提高了超过3%和近10%的网络准确度，这是在Dice相似系数和交集联合上的比较。以前未见过的视频数据的结果表明，所提出的方法具有普适性。

论文旨在解决结肠镜检查中息肉分割的问题，如何在真实的视频数据中准确地分割出息肉。

论文提出了一种视频息肉分割方法，采用自监督学习作为辅助任务和空间-时间自注意机制进行改进的表示学习。

论文的实验结果表明，该方法在Dice相似系数和交并比方面相较于现有的SOTA方法有近10%的提升，同时在未见过的视频数据上也具有良好的泛化性能。

该领域的相关研究包括：PNS+和Polyp-PVT等方法。