ASI-Seg: Audio-Driven Surgical Instrument Segmentation with Surgeon Intention Understanding

手术器械分割对于手术场景理解至关重要，有助于提高手术安全性。现有算法直接在输入图像中检测预定义类别的所有器械，缺乏根据外科医生意图对特定器械进行分割的能力。在手术的不同阶段，外科医生展现出不同的偏好和对不同手术器械的关注。因此，一个遵循外科医生意图的器械分割算法可以最小化与无关器械的干扰，并极大地帮助外科医生。最近的“Segment Anything Model”（SAM）揭示了根据提示分割物体的能力，但提示的手动注释在手术中是不切实际的。为了解决手术室中的这些限制，我们提出了一种名为ASI-Seg的音频驱动手术器械分割框架，通过解析外科医生的音频命令来准确地分割所需的手术器械。具体而言，我们提出了一种基于意图的多模态融合，从音频命令中解释分割意图并检索相关器械细节以促进分割。此外，为了指导我们的ASI-Seg分割所需的手术器械，我们设计了对比学习提示编码器，以有效区分所需器械和无关器械。因此，我们的ASI-Seg促进了手术室的工作流程，从而提供有针对性的支持并减少外科医生的认知负担。进行了大量实验证明ASI-Seg框架在语义分割和意图导向分割方面具有明显优势，优于经典的最新技术和医学SAM。源代码可在https://github.com/Zonmgin-Zhang/ASI-Seg上获得。

提出了一种名为ASI-Seg的基于音频命令的手术器械分割框架，旨在通过解析外科医生的音频命令准确地分割所需的手术器械，以提高手术安全性和外科医生的工作效率。

ASI-Seg框架采用意向导向的多模态融合来解释音频命令中的分割意图，并检索相关的器械细节以促进分割。此外，作者还设计了对比学习提示编码器来有效区分所需器械和不相关器械，以引导ASI-Seg的分割。

实验结果表明，ASI-Seg在语义分割和意向导向分割方面都具有显着优势，相比经典的最新技术和医学SAM，ASI-Seg框架更加实用。作者提供了开源代码，并使用了多个数据集进行了广泛实验。

近期的相关研究包括Segment Anything Model（SAM）等。