4K4DGen: Panoramic 4D Generation at 4K Resolution

虚拟现实和增强现实（VR/AR）技术的发展推动了对高质量、沉浸式和动态环境创造的需求日益增加。然而，现有的生成技术要么只关注于动态对象，要么从单个视角图像进行外推，未能满足VR/AR应用的需求。在这项工作中，我们解决了将单个全景图提升为沉浸式4D体验的挑战性任务。我们首次展示了生成具有360度视角的全向动态场景的能力，分辨率为4K，从而提供了沉浸式的用户体验。我们的方法引入了一个流程，促进了自然场景动画，并使用高效的splatting技术对一组4D高斯函数进行优化，以实现实时探索。为了克服缺乏场景尺度注释的4D数据和模型，特别是在全景格式下，我们提出了一种新颖的全景降噪器，将通用的2D扩散先验适应于360度图像中的一致动画，将其转化为具有目标区域动态场景的全景视频。随后，我们将全景视频提升为4D沉浸式环境，同时保持空间和时间的一致性。通过将2D模型在透视域中的先验知识转移至全景域和具有空间外观和几何规则化的4D提升，我们首次实现了高质量的全景到4D生成，分辨率为（4096×2048）。请访问项目网站https://4k4dgen.github.io。

将单个全景图提升为沉浸式的4D体验，生成360度全景动态场景，以满足虚拟现实和增强现实应用的需求。

提出了一种流程，利用高效的喷洒技术优化一组4D高斯函数，并将通用的2D扩散先验适应于360度图像，从而将全景视频提升为4D沉浸式环境。

通过提出的全景去噪器，将通用2D扩散先验适应于360度图像，从而实现了全景视频的动态场景，同时保持空间和时间的一致性。此外，该论文还提供了一个高质量的(4096×2048)全景到4D生成的解决方案。

最近的相关研究包括：基于深度学习的360度视频生成和全景图像处理技术。