论文地址：https://arxiv.org/abs/2203.12121

开源代码：https://github.com/tianyu0207/weakly-polyp

结直肠镜是一种有效的检测手段来早起筛查结直肠癌。然后， 在肠镜过程中医生往往会遗漏细小的不引人注意的肠息肉， 给病人的健康留下严重的隐患。所以利用AI系统来辅助医生精准检测是十分重要的。

比较常用的方法是利用全监督的方法来逐帧标注。这种方法需要专业医生很多的精力和时间， 所以之前的论文通常利用无监督异常检测来解决。无监督异常检测只需要利用正常数据来进行训练， 然后通过对比正常和异常的特征区别达到检测肠息肉的功能。这些工作因为没有利用异常数据训练 往往很容易忽略掉很多微笑的或者只有部分可见的肠息肉。所以本文首次提出利用弱监督视频异常检测的方法来解决这个问题， 即只使用视频级的标注而不需要逐帧标注。这样做大大减少了标注的繁琐过程和时间 并且能够有效的检测细微不引人注意的息肉。

之前的弱监督视频异常检测方法通常利用multiple instance learning， 即正常视频中所有帧视为正常帧， 异常视频内至少有一或多帧为异常。基于MIL的方法经常很难准确检测出异常视频中哪一帧存在异常， 尤其是当异常帧和正常帧很像的时候。

在这篇文章， 我们首次探索了利用弱监督异常检测如何在结肠镜视频中检测异常帧 通过一个新颖的基于视觉transformer的架构。为了evaluate我们方法的准确性， 我们整理了已知的几种结肠镜数据集 整合成了一个大型的视频结肠镜数据集来测试弱监督和全监督视频帧异常检测。这个新数据集为后面的研究提供一个全新的benchmark去测试和发展。

主要贡献

  • 据我们所知，这是第一项以弱监督视频异常检测方式解决结肠镜检查息肉的工作。

  • 我们提出了一个新的基于转换器的 MIL 框架，它可以优化片段和视频级别的异常分数，从而对息肉片段进行更准确的异常评分。

  • 我们引入了一种新的对比片段挖掘（CSM）方法来识别困难和简单的正常和异常片段，我们使用对比损失将同一类（即正常或异常）的困难和简单片段拉在一起。 这有助于提高检测细微息肉组织和挑战包含粪便和水的正常片段的稳健性。

  • 我们提出了一个新的 WVAD 基准，其中包含一个结合了多个公共结肠镜检查数据集的大规模多样化结肠镜检查视频数据集。

图片

图片

实验结果

实验结果表明，我们的方法在这个全新的结肠镜视频数据集上明显优于其他网络。例如， 我们的方法超过RTFM和MIST 10%-15% AP， 证明了方法的稳定性和准确性。

图片

下图可以看出我们方法可以有效的降低正常帧的异常分数并且提高异常帧（带息肉）的异常分数。

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除