Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting

本文介绍了Mesh-adsorbed Gaussian Splatting（MaGS）方法，以解决3D重建和模拟之间的矛盾。3D重建需要灵活的3D表示，适用于不同的场景，而模拟需要有结构化的表示来有效地建模运动原理。MaGS方法将3D高斯函数约束在网格表面上，创建一种互相吸附的网格-高斯函数3D表示，结合了3D高斯函数的渲染灵活性和网格的空间连贯性。利用这种表示方法，我们引入了可学习的相对变形场（RDF）来模拟网格和3D高斯函数之间的相对位移，扩展了传统的基于ARAP先验的网格驱动变形范例，从而更精确地捕捉每个3D高斯函数的运动。通过联合优化网格、3D高斯函数和RDF，MaGS实现了高渲染精度和逼真变形。在D-NeRF和NeRF-DS数据集上的大量实验表明，MaGS在重建和模拟方面都能生成具有竞争力的结果。

解决3D重建和仿真中的灵活性与结构性之间的矛盾问题，提高渲染精度和仿真真实性。

MaGS方法将3D高斯函数约束在网格表面上，创建了一种相互吸附的网格-高斯函数3D表示，既具有3D高斯函数的渲染灵活性，又具有网格的空间一致性。通过引入可学习的相对变形场（RDF）来模拟网格和3D高斯函数之间的相对位移，从而精确地捕捉每个3D高斯函数的运动。

论文在D-NeRF和NeRF-DS数据集上进行了广泛的实验，证明了MaGS在重建和仿真方面均能产生有竞争力的结果。此外，论文还提出了可学习的RDF，扩展了传统的基于网格驱动的变形范例，捕捉了每个3D高斯函数的运动，这是一种新的思路。

相关研究包括：NeRF、D-NeRF、NeRF++等。