Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians

手术场景模拟在外科教育和基于模拟器的机器人学习中起着至关重要的作用。传统方法创建这些手术场景的环境需要手工制作组织模型，包括软体模拟的纹理和几何形状。这种手动方法不仅耗时，而且在可扩展性和真实性方面也存在局限性。相比之下，数据驱动的模拟提供了一个引人注目的替代方案。它有潜力从真实的手术视频数据自动重建三维手术场景，然后应用软体物理学。然而，这个领域相对未知。在我们的研究中，我们引入了三维高斯模型作为可学习的手术场景表示，该模型是从立体内窥镜视频中学习的。为了防止过拟合并确保这些场景的几何正确性，我们将深度监督和各向异性正则化纳入高斯学习过程中。此外，我们将材料点方法应用于三维高斯模型，该方法与物理特性相结合，以实现逼真的场景变形。我们的方法在我们收集的内部和公共手术视频数据集上进行了评估。结果表明，它可以高效地从内窥镜视频中重建和模拟手术场景，仅需要几分钟来重建手术场景，并以接近实时的速度产生视觉和物理上可信的变形。结果展示了我们提出的方法在增强手术教育和机器人学习可用模拟的效率和多样性方面具有巨大潜力。

论文旨在通过数据驱动的方法，自动重建三维手术场景并应用软体物理学模拟，以提高手术教育和机器人学习的效率和多样性。传统方法手工制作手术模型的过程耗时且缺乏可扩展性和真实性。

论文提出了一种可学习的手术场景三维高斯表示法，通过学习立体内窥镜视频数据，结合深度监督和各向异性正则化，以避免过拟合和保证几何正确性。并且将物质点方法与物理属性相结合，应用于这些高斯函数，实现了真实的场景变形。

论文通过自动重建手术场景并应用软体物理学模拟的方法，提高了手术教育和机器人学习的效率和多样性。实验结果表明，该方法能够在几分钟内高效地重建手术场景，并以接近实时的速度产生视觉和物理上合理的变形。该方法有望在手术教育和机器人学习领域得到广泛应用。

在相关研究方面，最近的一些研究包括使用深度学习方法进行手术场景重建和物理模拟的研究，如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《Differentiable Physics and Stable Modes for Tool-Scene Manipulation》。