CAT3D: Create Anything in 3D with Multi-View Diffusion Models

3D重建技术的进步使得高质量的3D捕捉成为可能，但需要用户收集数百到数千张图像才能创建一个3D场景。我们提出了CAT3D方法，通过多视角扩散模型模拟这个真实世界的捕捉过程，可以创建任何3D物体。给定任意数量的输入图像和一组目标新视角，我们的模型会生成高度一致的场景新视角。这些生成的视角可以作为输入，使用强大的3D重建技术来产生3D表示，可以实时从任何视角进行渲染。CAT3D可以在一分钟内创建整个3D场景，并且在单张图像和少量视角3D场景创建方面优于现有方法。请访问我们的项目页面https://cat3d.github.io 查看结果和交互式演示。

CAT3D论文提出了一种解决高质量3D场景重建需要收集大量图像的问题的方法。

CAT3D使用了多视角扩散模型来模拟现实世界中的3D场景捕捉过程，从而生成高度一致的场景新视角，进而生成高质量的3D重建结果。

CAT3D可以在一分钟内创建完整的3D场景，并且在单图像和少视角3D场景创建方面优于现有方法。论文提供了项目页面，包括结果和交互式演示，并开源了代码。

与CAT3D相关的研究包括：《Neural 3D Mesh Renderer》、《Multi-view 3D Models from Single Images with a Convolutional Network》、《Learning to Reconstruct 3D Manhattan Wireframes from a Single Image》等。