Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives
Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry
[Univ Gustave Eiffel & UC Berkeley]
可微块世界：通过渲染基元进行定性3D分解
-
动机：现有的多视图建模方法，如神经辐射场(Neural Radiance Fields)，能通过优化密集的占用和颜色模型来精确捕获场景，但它们并未包含任何对象的概念，对于人类用户或标准的3D建模软件来说，它们并不容易解释，也不适用于理解场景的物理性质。因此，本文提出一种恢复纹理基元的方法，这些基元是紧凑的、可操作的、可解释的。 -
方法：所提出方法接收一组场景的校准图像作为输入，并优化一组由超四次曲面参数化的基元网格及其UV纹理，以最小化渲染损失。这种方法足够强大，可以直接从随机初始化开始。其关键组件之一是为每个基元优化一个透明度参数，这有助于处理遮挡以及处理基元数量的变化。 -
优势：与依赖3D输入数据的现有基元分解方法不同，所提出方法直接在图像上通过可微渲染进行操作。这使得该方法更加强大，因为基于3D的方法对重建中的噪声非常敏感，并且在处理不完整的对象时会遇到困难。此外，这种可解释的分解允许轻松地操作发现的场景，例如，通过进行物理模拟。
提出了一种新的3D场景分解方法，通过渲染基元直接在图像上操作，而不依赖于3D输入数据，从而实现了对场景的更强大和更可解释的建模。
https://arxiv.org/abs/2307.05473
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢