REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment

传统的图像到三维模型方法在处理包含多个物体的场景时常常受到偏差和遮挡复杂性的影响。为了解决这个问题，我们提出了一种新的方法REPARO，用于从单张图像生成组合式三维资产。REPARO采用两步法：首先，它从场景中提取单个物体，并使用现成的图像到三维模型重建它们的三维网格；然后，通过可微渲染技术优化这些网格的布局，确保场景组合的连贯性。通过在可微渲染中集成基于最优传输的长距离外观损失项和高层语义损失项，REPARO可以有效地恢复3D资产的布局。所提出的方法可以显著提高物体独立性、细节精度和整体场景连贯性。对多物体场景的广泛评估表明，我们的REPARO提供了一种全面的方法来解决从单张图像生成多物体三维场景的复杂性。

解决问题：论文旨在解决多物体3D场景生成中的偏见和遮挡复杂性问题，提出了一种从单张图像生成组合3D模型的新方法。

关键思路：REPARO采用两步法，首先使用现有的图像到3D模型算法提取场景中的单个物体并重构其3D网格，然后通过可微分渲染技术优化这些网格的布局，确保场景构图的一致性。

其他亮点：REPARO通过长程外观损失和高级语义损失在可微分渲染中集成了最优传输，从而有效地恢复了3D资产的布局。实验结果表明，该方法可以显著提高物体独立性、细节准确性和整体场景一致性。论文提供了开源代码和数据集。

相关研究：最近的相关研究包括Pixel2Mesh、IM-NET和3D-R2N2等。