Rethinking Low-quality Optical Flow in Unsupervised Surgical Instrument Segmentation

2024年03月15日
  • 简介
    视频手术器械分割在机器人辅助手术中扮演着重要角色。不同于监督式分割,无监督分割严重依赖于运动线索,由于手术画面中光流质量通常比自然场景低,因此这些线索很难辨别。这给无监督分割技术的进步带来了相当大的负担。在我们的工作中,我们解决了如何在光流质量有限的情况下提高模型性能的挑战。我们的方法采用三重策略:直接从光流中提取边界、选择性地丢弃质量较差的帧,并使用可变帧速率的微调过程。我们在EndoVis2017 VOS数据集和Endovis2017 Challenge数据集上对我们的策略进行了全面评估,在这些数据集上,我们的模型展现出了很有前途的结果,分别达到了0.75和0.72的平均交并比(mIoU)。我们的发现表明,我们的方法可以大大减少临床环境下手动注释的需求,并可能促进新数据集的注释过程。代码可在https://github.com/wpr1018001/Rethinking-Low-quality-Optical-Flow.git上获得。
  • 图表
  • 解决问题
    解决问题:论文试图解决什么问题,或者验证什么假设?这是否是一个新问题?
  • 关键思路
    关键思路:论文中解决问题的方案关键思路是什么?相比当前这个领域的研究状况,这篇论文的思路有什么新意?
  • 其它亮点
    其他亮点:论文提出了三种方法来提高低质量光流的手术器械分割模型性能,实验结果表明该方法在EndoVis2017 VOS数据集和Endovis2017 Challenge数据集上表现良好,平均交并比分别为0.75和0.72。该方法可以减少临床环境中手动注释的需求,并可能为新数据集的注释过程提供帮助。代码已经开源。
  • 相关研究
    相关研究:在这个领域中,最近的相关研究包括《Surgical Instrument Segmentation in Robot-Assisted Surgery Using Multimodal Fusion and Deep Neural Networks》和《Real-Time Surgical Tool Detection and Tracking Using Efficient Deep Learning Techniques》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论