周四直播｜无需训练或微调，单张图片重建高质量三维场景（已开源）

报告主题：VistaDream: Sampling multiview consistent images for single-view scene reconstruction 单张图片重建高质量三维场景

报告日期：12月12日（本周四）10:30-11:30

报告要点:

论文提出了一种名为VistaDream的新框架，用于从单视图图像重建3D场景。最近的扩散模型使得从单视图输入图像生成高质量的新视角图像成为可能。现有的大多数方法主要集中在建立输入图像与生成图像之间的一致性，而忽视了生成图像之间的内部一致性。VistaDream通过一个两阶段的管道解决了这个问题。在第一阶段，VistaDream通过稍微放大并填充边界以及使用估计的深度图来构建一个全局粗略的3D框架。

在这个全局框架上，我们使用基于扩散模型的迭代RGB-D修复来生成新视角图像，以填补框架中的空洞。在第二阶段，我们进一步通过一种新颖的无训练多视图一致性采样（MCS）方法增强生成的新视角图像之间的一致性，该方法在扩散模型的逆向采样过程中引入了多视图一致性约束。实验结果表明，无需对现有扩散模型进行训练或微调，VistaDream仅使用单视图图像就能实现一致且高质量的新视角合成，并且显著优于基线方法。代码、视频和交互式演示可在https://vistadream-project-page.github.io/ 获取。

报告嘉宾：

扫码报名

更多热门报告