Depth-Aware Endoscopic Video Inpainting

视频修复技术可以用可信的替代内容填补被损坏的视频内容。尽管最近内窥镜视频修复技术的进展显示出提高内窥镜视频质量的潜力，但它们主要修复2D视觉信息，没有有效地保留关键的3D空间细节以供临床参考。深度感知修复方法通过融合深度信息来尝试保留这些细节。然而，在内窥镜上下文中，它们面临的挑战包括依赖预先获取的深度图、融合设计不够有效和忽略3D空间细节的保真度。为了解决这些问题，我们引入了一种新的深度感知内窥镜视频修复（DAEVI）框架。它具有一个空间-时间引导深度估计模块，用于直接从视觉特征估计深度，一个双模式配对通道融合模块，用于有效地逐通道融合视觉和深度信息，以及一个深度增强鉴别器，用于评估由修复帧和估计深度图像组成的RGB-D序列的保真度。对已建立的基准测试进行的实验评估显示了我们框架的优越性，相比最先进的方法，它实现了2%的PSNR提高和6%的MSE降低。定性分析进一步验证了它对细节修复的增强能力，突出了将深度信息集成到内窥镜修复中的好处。

本论文旨在解决内窥镜视频修复中存在的问题，即现有方法主要修复二维视觉信息而无法有效保留重要的三维空间细节，提出了一种新的深度感知内窥镜视频修复框架。

该框架包含三个模块：空时引导深度估计模块、双模态配对通道融合模块和深度增强鉴别器。通过直接从视觉特征中估计深度、有效地融合视觉和深度信息以及评估修复后的RGB-D序列的保真度，实现了对内窥镜视频中的三维空间细节的保留。

实验结果表明，该框架相比现有最先进方法，在PSNR上提高了2％，在MSE上降低了6％。在保留细节方面具有明显优势，这突显了将深度信息整合到内窥镜修复中的优势。论文使用了公认的基准数据集进行实验，并提供了开源代码。

最近在该领域的相关研究包括：《Depth-aware video inpainting using multi-scale convolutional neural networks》、《Deep Video Inpainting》、《Endoscopic Video Inpainting Using Temporal and Spatial Information》等。