Adapting SAM for Surgical Instrument Tracking and Segmentation in Endoscopic Submucosal Dissection Videos

手术器械的精确跟踪和分割已经显著提高了手术程序的效率。然而，挑战在于实现手术器械的准确分割，同时最小化手动注释的需求并减少分割过程所需的时间。为了解决这个问题，我们提出了一个新的手术器械分割和跟踪框架。具体来说，我们使用一小部分帧进行分割，以确保在整个手术视频中实现准确的分割。我们的方法采用了两阶段方法来高效地分割视频。最初，我们利用经过Low-Rank Adaptation (LoRA)在EndoVis17数据集上微调的Segment-Anything (SAM)模型来准确地分割视频的初始帧。随后，我们部署XMem++跟踪算法来跟随注释的帧，从而促进整个视频序列的分割。这个工作流程使我们能够精确地分割和跟踪视频中的对象。通过对分布内数据集（EndoVis17）和分布外数据集（EndoVis18和内窥镜粘膜下切除术（ESD）数据集）进行广泛评估，我们的框架展示了出色的准确性和鲁棒性，从而展示了其推进自动化机器人辅助手术的潜力。

提高手术器械分割和跟踪的精度和效率

采用两阶段方法，使用经过微调的Segment-Anything (SAM)模型和XMem++跟踪算法，实现手术视频中手术器械的精确分割和跟踪

实验结果表明该方法在EndoVis17、EndoVis18和ESD数据集上都表现出色，具有很高的准确性和鲁棒性，有望推动自动化机器人辅助手术的发展

与手术器械分割和跟踪相关的研究包括：《Surgical Instrument Segmentation in Endoscopic Images Using Convolutional Neural Networks and Transfer Learning》、《Real-time surgical tool detection and tracking using deep learning》等