Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

最近的一些图像到3D生成方法普遍采用得分蒸馏采样（Score Distillation Sampling，SDS）。尽管结果令人印象深刻，但存在多个缺陷，包括多视角不一致、过度饱和和过度平滑的纹理，以及生成速度慢等。为了解决这些问题，我们提出了Repaint123，以减轻多视角偏差以及纹理退化，并加速生成过程。核心思想是将2D扩散模型的强大图像生成能力与重新绘制策略的纹理对齐能力相结合，生成具有一致性的高质量多视角图像。我们进一步提出了可见性感知的自适应重新绘制强度，以增强重新绘制过程中重叠区域的生成图像质量。生成的高质量和多视角一致的图像使得可以使用简单的均方误差（MSE）损失进行快速的3D内容生成。我们进行了广泛的实验，并展示了我们的方法从零开始在2分钟内生成具有多视角一致性和精细纹理的高质量3D内容的卓越能力。我们的项目页面可在 https://pku-yuangroup.github.io/repaint123/ 上找到。

本论文旨在解决现有的一些图像到3D生成方法存在的问题，例如多视角不一致、纹理过度饱和和过度平滑，以及生成速度慢等。

论文提出了一种名为Repaint123的方法，通过结合2D扩散模型和重绘策略的能力，生成具有一致性的高质量多视角图像，进而使用简单的均方误差（MSE）损失快速生成3D内容。同时，论文还提出了可见性感知自适应重绘强度来增强重叠区域的生成图像质量。

论文通过实验表明，Repaint123方法能够在2分钟内从零开始生成高质量的3D内容，且具有多视角一致性和精细纹理。此外，论文还提供了项目页面和开源代码。值得进一步研究的工作包括如何在更大的数据集上评估该方法的性能，以及如何应用于更广泛的3D场景。

近期的相关研究包括：《Multi-View Image Generation from a Single-View》、《Multi-View 3D Reconstruction using Scene Priors》等。