Thoracic Surgery Video Analysis for Surgical Phase Recognition

本文介绍了一种使用视频数据进行外科手术阶段识别的方法，旨在为自动化工作流分析提供全面的外科手术程序理解。随着机器学习和计算机视觉在外科手术视频分析中的应用，机器人手术、数字化手术室和大量数据的产生为此敞开了大门。在这些进展中，外科手术阶段识别（SPR）作为一种新兴技术脱颖而出，具有识别和评估正在进行的外科手术场景、总结手术、评估外科手术技能、提供外科手术决策支持和促进医学培训的潜力。在本文中，我们对由11类阶段组成的胸部外科手术数据集进行了基于帧和基于视频剪辑的阶段识别分析和评估。具体而言，我们利用ImageNet ViT进行基于图像的分类，使用VideoMAE作为基线模型进行基于视频的分类。我们展示了掩膜视频蒸馏（MVD）表现出卓越的性能，实现了72.9%的top-1准确率，而ImageNet ViT仅实现了52.31%的准确率。这些发现强调了视频分类器在外科手术阶段识别任务中优于它们的基于图像的对应物的功效。

手术阶段识别是一项重要的医疗任务，本文旨在使用视频数据进行手术阶段识别，以提供自动化工作流分析的全面理解。

本文分析和评估了基于帧和基于视频剪辑的手术阶段识别，使用ImageNet ViT进行基于图像的分类，使用VideoMAE作为基线模型进行基于视频的分类，并展示了Masked Video Distillation（MVD）在手术阶段识别任务中表现出优异性能。

本文展示了视频分类器在手术阶段识别任务中的优越性能，提高了准确率。实验使用了胸外科数据集，共包含11个阶段。本文的方法可以用于自动化工作流分析、手术技能评估、手术决策支持和医学培训等方面。

在相关研究方面，最近的一些研究包括：“Surgical Workflow Recognition Using Recurrent Neural Networks”和“Real-time Surgical Phase Recognition from Video Using Convolutional Neural Networks”。