Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency

我们提出了 Free4D，这是一种从单张图像生成 4D 场景的新型无调参框架。现有的方法要么专注于对象级别的生成，使得场景级别的生成不可行，要么依赖大规模多视角视频数据集进行昂贵的训练，但由于 4D 场景数据的稀缺性，其泛化能力有限。相比之下，我们的核心洞见在于提取预训练基础模型以实现一致的 4D 场景表示，这种方法提供了高效性和可泛化性的显著优势。1) 为实现这一目标，我们首先使用图像到视频扩散模型对输入图像进行动画化处理，随后进行 4D 几何结构初始化。2) 为了将这种粗略的结构转化为时空一致的多视角视频，我们设计了一种自适应引导机制，通过点引导去噪策略确保空间一致性，并提出一种新颖的潜在替换策略以实现时间连贯性。3) 为了将这些生成的观测结果提升为一致的 4D 表示，我们提出了一种基于调制的优化方法，以减少不一致性，同时充分利用生成的信息。最终得到的 4D 表示能够支持实时、可控的渲染，标志着基于单张图像的 4D 场景生成领域的重要进展。

该论文试图解决从单张图像生成4D场景的问题，这是计算机视觉和生成模型领域的一个重要挑战。现有的方法要么专注于对象级别的生成，无法扩展到场景级别，要么需要大规模多视角视频数据集进行昂贵的训练，且由于4D场景数据的稀缺性，其泛化能力有限。

论文提出了一种名为Free4D的新型无调参框架，通过蒸馏预训练的基础模型来实现一致的4D场景表示。关键思路包括：1) 使用图像到视频扩散模型动画化输入图像，并初始化4D几何结构；2) 设计自适应引导机制，结合点引导去噪策略确保空间一致性，以及潜在替换策略保证时间连贯性；3) 提出基于调制的细化方法，将生成的多视角视频提升为一致的4D表示。这种方法在效率和泛化能力上具有显著优势。

论文设计了创新的自适应引导机制和潜替换策略，解决了空间和时间一致性问题。实验部分展示了真实时、可控的渲染效果，验证了方法的有效性。此外，虽然未明确提及代码开源，但提出的框架具有较高的实用价值，未来可以进一步研究如何优化计算成本和探索更多应用场景。

相关研究包括：1) Object-level生成模型（如StyleGAN-NADA），这些方法主要关注单个物体的生成；2) 场景级生成方法（如NeRF和EG3D），但它们通常依赖多视角数据或复杂的训练过程；3) 视频生成模型（如Video Diffusion Models），用于生成动态内容但缺乏4D一致性。其他相关工作如《Text2Mesh: Generating 3D Mesh from Text Descriptions》和《Eureka: A Framework for Learning Scene Representations》也在探索类似的生成任务。