SEDMamba: Enhancing Selective State Space Modelling with Bottleneck Mechanism and Fine-to-Coarse Temporal Fusion for Efficient Error Detection in Robot-Assisted Surgery

自动检测手术错误可以改善机器人辅助手术。尽管取得了令人鼓舞的进展，但现有方法仍面临着挑战，即在保持计算效率的同时捕捉丰富的时间上下文以建立长期依赖性。在本文中，我们提出了一种新颖的分层模型，名为SEDMamba，它将选择性状态空间模型（SSM）纳入手术错误检测中，促进了具有线性复杂度的高效长序列建模。SEDMamba通过瓶颈机制和从精细到粗糙的时间融合（FCTF）增强了选择性SSM，以检测和时间定位长视频中的手术错误。瓶颈机制在其空间维度内压缩和恢复特征，从而降低了计算复杂度。FCTF利用多个扩张的1D卷积层在不同的时间尺度范围内合并时间信息，适应不同持续时间的错误。此外，我们使用已建立的观察性临床人类可靠性评估工具（OCHRA）对开源根治前列腺切除术数据集（SAR-RARP50）中缝合任务的错误进行注释，构建了第一个基于帧级别的体内手术错误检测数据集，以支持在真实场景中的错误检测。实验结果表明，我们的SEDMamba在显著降低计算复杂度的同时，至少比现有最先进的方法提高了1.82％的AUC和3.80％的AP性能。

本文旨在提高机器人辅助手术中的手术错误检测效率，解决现有方法在建立长期依赖性时面临的挑战。

文章提出了一种名为SEDMamba的层次模型，将选择性状态空间模型（SSM）纳入手术错误检测中，以实现高效的长序列建模。SEDMamba通过瓶颈机制和细到粗的时间融合（FCTF）增强了选择性SSM，以检测和时间定位长视频中的手术错误。

文章使用了一个开放源代码的前列腺切除术数据集（SAR-RARP50）来支持实际场景中的手术错误检测，并使用已建立的观察性临床人类可靠性评估工具（OCHRA）来注释缝合任务中的错误，构建了第一个逐帧级别的体内手术错误检测数据集。实验结果表明，SEDMamba在降低计算复杂度的同时，比现有方法提高了至少1.82％的AUC和3.80％的AP性能。

在这个领域中，一些相关的研究包括：《Surgical Phase Recognition and Tool Detection with Recurrent Neural Networks》、《Video-based Surgical Tool Detection and Localization Using Multi-view Convolutional Neural Networks》等。