Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians

手术场景模拟在手术教育和基于模拟器的机器人学习中起着至关重要的作用。传统的手术场景创建方法需要设计师手工制作组织模型，包括纹理和几何形状，用于软体模拟。这种手工方法不仅费时费力，而且在可扩展性和真实性方面存在局限性。相比之下，数据驱动的模拟提供了一种引人注目的替代方案。它有潜力从真实手术视频数据中自动重建三维手术场景，然后应用软体物理学。然而，这个领域相对较为未知。在我们的研究中，我们引入了三维高斯函数作为手术场景的可学习表示，该表示从立体内窥镜视频中学习。为了防止过度拟合并确保这些场景的几何正确性，我们将深度监督和各向异性正则化纳入高斯学习过程中。此外，我们将物质点方法应用于三维高斯函数，以实现逼真的场景变形。我们的方法在我们收集的内部和公共手术视频数据集上进行了评估。结果表明，它可以高效地从内窥镜视频中重建和模拟手术场景，仅需要几分钟来重建手术场景，并以接近实时的速度产生视觉和物理上可信的变形。结果展示了我们提出的方法在增强手术教育和机器人学习中可用的模拟的效率和多样性方面具有巨大潜力。

论文尝试通过数据驱动的方法自动重建3D手术场景，以提高手术教育和机器人学习的效率和多样性，同时避免传统手工制作的时间和规模限制。

论文提出了一种可学习的3D高斯表示方法，通过学习立体内窥镜视频数据来重建手术场景，并结合深度监督和各向异性正则化来避免过拟合和保证几何正确性。此外，采用物质点法将物理属性集成到3D高斯中，以实现逼真的场景变形。

论文在自己收集的数据集和公共手术视频数据集上进行了评估，结果表明该方法可以高效地从内窥镜视频中重建和模拟手术场景，并在接近实时的速度下产生视觉和物理上可信的变形。此外，论文还提出了一种各向异性正则化方法，以提高重建的几何正确性。

与该论文相关的研究包括使用深度学习方法进行手术场景重建和模拟的研究，如《DeepSurgery: Learning to Automate Surgical Tool Detection from Data》和《Deep Learning for Surgical Tool Detection and Tracking: A Review》。