Predicting Generalization of AI Colonoscopy Models to Unseen Data

$\textbf{背景}$ AI结肠镜算法的普适性对于其在临床实践中的广泛应用非常重要。然而，目前评估算法在未见数据上的表现的技术需要昂贵和耗时的标注。 $\textbf{方法}$ 我们使用“掩蔽式孪生网络”（MSN）来识别未见数据中的新现象，并预测息肉检测器的性能。MSN被训练以预测息肉图像中被掩蔽的区域，而不需要任何标签。我们测试了MSN仅使用以色列的数据进行训练，并在来自日本的结肠镜上检测未见技术，狭带成像（NBI）和染色内窥镜（CE）。我们还测试了MSN在没有从日本的数据进行训练的情况下，预测了两国结肠镜上息肉计算机辅助检测（CADe）的性能。 $\textbf{结果}$ 使用无标签的Frechet距离，MSN正确地将NBI和CE识别为与以色列白光相比较不相似，而与日本白光相比较相似（引导式z检验，|z|> 496，p <10 ^ -8）。MSN以99％的准确率检测NBI，在仅使用白光进行训练的情况下，比我们的启发式方法更好地预测了CE的性能（90％对79％准确率），并且是唯一能够抵抗噪声标签的方法。MSN预测了在域内的以色列和域外的日本结肠镜上的CADe息肉检测器的性能（分别为r = 0.79，0.37）。在很少有日本检测器性能的情况下进行训练，MSN对日本性能的预测得到了提高（r = 0.56）。 $\textbf{结论}$ 我们的技术可以识别临床数据中的分布偏移，并可以在没有标签的情况下预测CADe检测器在未见数据上的性能。我们的自监督方法可以帮助检测实践中的数据是否与训练不同，例如在医院之间或数据从训练中有意义地偏移的情况下。MSN在结肠镜之外的医学图像领域具有应用潜力。

论文旨在解决如何在没有标签的情况下评估AI结肠镜算法的泛化性能的问题。同时，还试图预测AI结肠镜算法在不同数据集上的性能。

论文提出了一种基于掩膜孪生网络的方法来识别未见数据中的新现象，并预测结肠镜图像中息肉检测器的性能。

论文使用掩膜孪生网络进行训练，以预测结肠镜图像中被掩膜的区域，而不使用任何标签。论文测试了该方法在以色列数据集上训练并在日本数据集上检测新技术的能力。结果表明，该方法能够检测到不同数据集之间的分布变化，并能够预测AI结肠镜算法在不同数据集上的性能。此外，论文还探讨了该方法在医学图像领域的应用前景。

相关研究包括基于深度学习的医学图像分析，以及使用自监督学习方法进行无监督的特征学习。