LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field

本文提出了一种名为LoopGaussian的方法，通过3D高斯建模将cinemagraph从2D图像空间提升到3D空间。作者受到3D高斯点云的新视角合成（NVS）领域中3D高斯喷洒（3D-GS）取得的显著进展的启发，首先采用3D-GS方法从静态场景的多视图图像中重建3D高斯点云，并加入形状正则化项以防止物体变形引起的模糊或伪影。然后，作者采用针对3D高斯的自编码器将其投影到特征空间中，为了保持场景的局部连续性，作者设计了SuperGaussian进行基于获取特征的聚类。通过计算聚类之间的相似性并采用两阶段估计方法，作者得出了一个欧拉运动场来描述整个场景的速度。然后，3D高斯点在估计的欧拉运动场中移动。最终，通过双向动画技术，生成了一个自然且无缝循环动态的3D Cinemagraph。实验结果验证了该方法的有效性，展示了高质量且视觉上吸引人的场景生成效果。

将Cinemagraph从2D图像空间升级到3D空间，以创造更具吸引力的体验。

使用3D高斯建模，通过估计欧拉运动场来实现3D Cinemagraph的生成。

论文使用3D高斯点云和SuperGaussian进行聚类，采用双向动画技术生成自然且无缝循环的3D Cinemagraph。实验结果验证了该方法的有效性。

最近的相关研究包括Novel View Synthesis和3D Gaussian Splatting。