Surgical Triplet Recognition via Diffusion Model

手术三元组识别是实现下一代上下文感知手术室的重要基础。其目标是识别手术视频帧中呈现的器械、动词和目标的组合。本文提出了DiffTriplet，这是一种利用扩散模型进行手术三元组识别的新型生成框架，通过迭代去噪预测手术三元组。为了处理三元组关联的挑战，在我们的扩散框架中提出了两个独特的设计，即关联学习和关联指导。在训练过程中，我们在三元组和单个组件的联合空间中优化模型，以捕捉它们之间的依赖关系。在推理过程中，我们将关联约束集成到迭代去噪过程的每次更新中，使用单个组件的信息来精炼三元组预测。在CholecT45和CholecT50数据集上的实验表明，所提出的方法在手术三元组识别方面取得了新的最优性能。我们的代码将被发布。

本论文旨在解决手术三元组识别问题，即在手术视频帧中识别出由工具、动作和目标组成的三元组。

论文提出了一种基于扩散模型的生成式框架 DiffTriplet，通过迭代去噪的方式来预测手术三元组。在处理三元组关联性方面，论文提出了两种独特的设计，即关联学习和关联指导。在训练过程中，模型在三元组和单个组件的联合空间中进行优化，以捕捉它们之间的依赖关系。在推理过程中，将关联约束集成到迭代去噪过程的每次更新中，利用单个组件的信息来优化三元组预测。

论文在 CholecT45 和 CholecT50 数据集上进行了实验，结果表明所提出的方法在手术三元组识别方面取得了新的最先进性能。作者还将代码进行了开源。

最近的相关研究包括：'Surgical Phase Recognition and Tool Detection with Recurrent Neural Networks'和 'Surgical Tool Detection and Tracking with End-to-End Deep Neural Network'