Fundus2Video: Cross-Modal Angiography Video Generation from Static Fundus Photography with Clinical Knowledge Guidance

本文介绍了一种从静态彩色眼底照片（CF）生成动态眼底荧光血管造影（FFA）视频的方法。眼底荧光血管造影是评估视网膜血管动力学和辅助诊断眼部疾病的重要工具，但其侵入性和较彩色眼底照片的不易获取性带来了重大挑战。目前，CF到FFA转换方法仅限于静态图像生成。本文采用自回归GAN进行平滑、节省内存的逐帧FFA合成。为了增强FFA区域动态病变变化的关注，我们设计了基于临床经验的知识掩模。利用这个掩模，我们的方法集成了创新的知识掩模引导技术，包括知识增强的注意力、知识感知鉴别器和掩模增强的PatchNCE损失，旨在精细化关键区域的生成，并解决像素错位的挑战。我们的方法在FVD和PSNR方面均达到了最佳水平，分别为1503.21和11.81，优于其他常见的视频生成方法。眼科医生的人类评估证实了其高质量的生成效果。值得注意的是，我们的知识掩模超越了监督病变分割掩模，为传统FFA的研究和临床应用提供了有希望的非侵入性替代方法。该代码可在https://github.com/Michi-3000/Fundus2Video上获得。

本文旨在解决静态彩色眼底图像转换为动态荧光素铵盐血管造影（FFA）视频的问题。当前的方法局限于静态生成，而且FFA的侵入性和可访问性相对较差，这给诊断和研究带来了挑战。

本文提出了一种自回归生成对抗网络，用于平滑、节省内存的逐帧FFA合成。为了增强FFA区域中动态病变变化的焦点，本文设计了基于临床经验的知识掩模。利用这个掩模，本文的方法集成了创新的知识增强注意力、知识感知鉴别器和掩模增强的patchNCE损失等技术，旨在精细化关键区域的生成，并解决像素不对齐的挑战。

本文的方法在FVD和PSNR方面均优于其他常见的视频生成方法。经过眼科医生的人工评估，本文的生成质量很高。此外，本文的知识掩模超越了监督病变分割掩模，为传统FFA的研究和临床应用提供了一种有前途的非侵入性替代方法。作者开源了代码并提供了数据集。

最近的相关研究包括：1.《Generating videos with scene dynamics》；2.《Deep video generation, prediction and completion of human action sequences》；3.《Unsupervised video generation with adversarial transformer》等。