Navigating the Synthetic Realm: Harnessing Diffusion-based Models for Laparoscopic Text-to-Image Generation

最近合成成像技术的进展为外科成像领域获取额外数据提供了机会。这些数据可以通过计算机视觉提供可靠的支持外科应用和决策的补充。特别是在图像引导手术领域，如腹腔镜和机器人辅助手术，合成图像数据集和虚拟手术培训方法受益匪浅。我们的研究提出了一种直观的方法，利用基于扩散的生成模型从短文本提示生成合成腹腔镜图像。我们展示了最先进的文本到图像架构在腹腔镜成像领域的应用，以胆囊切除手术为例。对于保真度和多样性的结果表明，基于扩散的模型可以获取关于图像引导手术领域的风格和语义的知识。一项人类评估调查的验证研究强调了我们合成数据的逼真性，因为医务人员在一个包含生成图像的池中检测到实际图像，导致假阳性率达到66%。此外，对于识别手术行为的最先进的机器学习模型的研究表明，当使用多达5.20%的额外生成图像进行训练时，结果得到了提高。总体而言，实现的图像质量有助于在外科应用中使用计算机生成的图像，并增强其成熟路径。

本论文旨在探讨利用生成模型从短文本提示中生成合成腹腔镜图像的方法，以支持计算机视觉在图像引导手术中的应用和决策制定。

论文使用基于扩散的生成模型生成合成腹腔镜图像，实现了对手术过程中的样式和语义的学习，提高了计算机生成图像在手术应用中的可靠性。

实验结果表明，生成的图像质量高，能够被医学人员误认为是真实图像。此外，将生成的图像用于机器学习模型的训练，可以提高识别手术行为的准确性。本论文提出的方法为图像引导手术中计算机生成图像的应用提供了新思路。

近期在这个领域中，还有一些相关的研究，如《Endo-Sim2Real: Consistency Learning-based Data Augmentation for Endoscopic Vision-based Robotic Surgery》和《3D Laparoscopic Image Synthesis with Conditional Generative Adversarial Networks》。