MuST: Multi-Scale Transformers for Surgical Phase Recognition

手术视频中的阶段识别对于增强计算机辅助手术系统至关重要，因为它可以自动理解顺序过程阶段。现有的方法通常依赖于固定的时间窗口进行视频分析，以识别动态手术阶段。因此，它们难以同时捕捉到必要的短期、中期和长期信息，以完全理解复杂的手术程序。为了解决这些问题，我们提出了一种基于变压器的新方法，称为多尺度手术阶段识别变压器（MuST），它将多项框架编码器与时间一致性模块相结合，以捕获手术视频的多个时间尺度上的信息。我们的多项框架编码器通过在感兴趣的帧周围以递增的步幅采样序列来计算跨时间尺度层次结构的相互依赖性。此外，我们还采用了长期变压器编码器来进一步增强长期推理。MuST在三个不同的公共基准测试中实现了比先前最先进的方法更高的性能。

论文旨在解决手术视频中的阶段识别问题，提出了一种能够同时捕捉短期、中期和长期信息的多尺度Transformer方法。

论文提出了一种名为MuST的多尺度Transformer方法，它结合了多项框架编码器和时间一致性模块，能够跨多个时间尺度捕捉手术视频的信息，包括短期、中期和长期信息，以提高手术阶段识别的性能。

MuST方法在三个公共基准测试中均取得了比之前最先进的方法更高的性能。作者还提供了开源代码，并使用了多个数据集进行实验证明了该方法的有效性。

近期的相关研究包括：'Surgical Workflow and Instrument Detection with Multi-modal Context Aggregation'，'Surgical Phase Recognition with Temporal Convolutional Networks and Multi-task Learning'，'Surgical Phase Recognition using Multi-branch Recurrent Neural Networks with Visual and Kinematic Streams'等。