Self-Supervised Video Desmoking for Laparoscopic Surgery

由于收集真实配对数据的困难，大多数现有的去烟雾方法通过合成烟雾来训练模型，在现实外科手术场景中推广效果较差。虽然一些方法已经探索了单幅真实世界的非配对学习去烟雾，但它们仍然面临着处理浓烟的挑战。在本研究中，我们通过引入自监督手术视频去烟雾（SelfSVD）来同时解决这些问题。一方面，我们观察到在高能设备激活之前捕捉到的帧通常很清晰（称为预烟雾帧，PS帧），因此它可以作为其他烟雾帧的监督，使得现实世界的自监督视频去烟雾成为可能。另一方面，为了增强去烟雾性能，我们进一步将PS帧中的有价值信息输入到模型中，其中提出了掩膜策略和正则化项以避免微不足道的解。此外，我们构建了一个真实手术视频数据集进行去烟雾，涵盖了各种烟雾场景。对数据集的广泛实验表明，我们的SelfSVD可以更有效地和高效地去除烟雾，同时恢复更多的照片逼真细节，优于现有最先进的方法。该数据集、代码和预训练模型可在\url{https://github.com/ZcsrenlongZ/SelfSVD}上获得。

论文旨在解决现有医疗手术视频去烟雾方法在训练时缺乏真实配对数据，导致模型泛化能力差的问题，同时解决单图像去烟雾难以应对浓烟的挑战。论文提出了一种自监督手术视频去烟雾方法，通过利用高能设备激活前的清晰图像作为监督信息，实现真实世界的自监督视频去烟雾。同时，论文还构建了一个真实手术视频数据集，用于去烟雾的训练和测试。

论文的关键思路是通过自监督学习，利用高能设备激活前的清晰图像作为监督信息，实现真实世界的自监督视频去烟雾。同时，论文提出了一种掩膜策略和正则化项，以提高去烟雾效果。

论文的亮点包括：1. 提出了一种自监督手术视频去烟雾方法，可以在缺乏真实配对数据的情况下进行训练。2. 通过掩膜策略和正则化项提高了去烟雾效果。3. 构建了一个真实手术视频数据集，用于去烟雾的训练和测试。4. 实验结果表明，该方法比现有方法更有效和高效。

最近在这个领域中，还有一些相关的研究，例如：1.《Unpaired Image Desmoking using Cycle-Consistent Adversarial Networks》2.《Single Image Desmoking via Conditional Generative Adversarial Network》3.《Surgical Smoke Removal from Endoscopic Images using Generative Adversarial Networks》