DPA-Net: Structured 3D Abstraction from Sparse Views via Differentiable Primitive Assembly

我们提出了一种可微分渲染框架，从稀疏的RGB图像中捕捉3D物体，学习结构化的3D抽象，形式为基元组装。通过利用可微分体积渲染，我们的方法不需要3D监督。在架构上，我们的网络遵循图像条件的神经辐射场（NeRF）的通用流程，例如用于颜色预测的pixelNeRF。作为我们的核心贡献，我们将差分基元组装（DPA）引入到NeRF中，以输出3D占用场代替密度预测，其中预测的占用度作为体积渲染的不透明度值。我们的网络，称为DPA-Net，产生一组凸体的并集，每个凸体是凸四面体基元的交集，以逼近目标3D物体，受图像空间中定义的抽象损失和遮罩损失的约束。通过测试时间的自适应和额外的采样和损失设计，旨在提高获得的组装的精度和紧凑性，我们的方法展示了优于现有技术的表现，用于从稀疏视图中进行3D基元抽象。

本文旨在通过不需要3D监督的不同iable volume rendering学习结构化的3D抽象，以从稀疏的RGB图像中捕捉3D对象。具体来说，通过在NeRF中引入differential primitive assembly (DPA)来代替密度预测输出3D占据场，其中预测的占据度作为体积渲染的不透明度值。该方法的核心贡献是使用DPA-Net来近似目标3D对象的凸面集合，每个凸面集合都是凸四次曲面基元的交集。

本文提出了一种新的方法——DPA-Net，通过在NeRF中引入differential primitive assembly (DPA)来代替密度预测输出3D占据场，从而学习结构化的3D抽象，以从稀疏的RGB图像中捕捉3D对象。

本文的实验结果表明，DPA-Net在从稀疏视图中进行3D基元抽象方面具有优越性能。此外，本文还介绍了测试时间自适应和其他采样和损失设计，旨在改善所获得的集合的精度和紧凑性。论文使用的数据集是ShapeNet和Kitti，代码已经开源。

最近在这个领域中，还有一些相关的研究，如：PixelNeRF、Occupancy Networks、Implicit Functions等。