LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field

Cinemagraph是一种独特的视觉媒体形式，它将静态摄影和微妙的动态元素结合起来，创造出令人着迷的体验。然而，最近的作品生成的大部分视频缺乏深度信息，受限于2D图像空间的限制。在本文中，受到3D高斯点云重建技术的重要进展的启发，我们提出了LoopGaussian，使用3D高斯建模将Cinemagraph从2D图像空间提升到3D空间。为了实现这一点，我们首先采用3D高斯点云重建方法从静态场景的多视角图像中重建3D高斯点云，加入形状正则化项以防止物体变形引起的模糊或伪影。然后，我们采用专门为3D高斯定制的自编码器将其投影到特征空间。为了保持场景的局部连续性，我们设计了SuperGaussian用于基于获得的特征进行聚类。通过计算聚类之间的相似性并采用两阶段估计方法，我们得出欧拉运动场来描述整个场景中的速度。然后，3D高斯点在估计的欧拉运动场中移动。通过双向动画技术，我们最终生成了一个展现自然且无缝循环动态的3D Cinemagraph。实验结果验证了我们方法的有效性，展示了高质量和视觉吸引力的场景生成。该项目可在https://pokerlishao.github.io/LoopGaussian/上获得。

LoopGaussian试图将Cinemagraph从2D图像空间提升到3D空间，以提高其视觉效果和真实感。同时，论文也试图解决现有视频缺乏深度信息的问题。

LoopGaussian的关键思路是使用3D高斯建模来重构静态场景的多视图图像，并通过SuperGaussian进行聚类，得到Eulerian运动场，最终生成3D Cinemagraph。

论文使用了3D Gaussian Splatting方法和自动编码器来实现3D高斯建模，并使用SuperGaussian进行聚类。实验结果表明，LoopGaussian方法生成的场景具有高质量和视觉吸引力。

相关研究包括novel view synthesis和Cinemagraph生成。其中一些论文标题包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》和《Cinemagraphs: From Still to Moving》。