Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

解决从单个视角到3D的图像转换是一个不适定问题，目前通过扩散模型来处理这个问题的神经重建方法仍然依赖于特定场景的优化，限制了它们的泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法采用有符号距离函数作为表面表示，并通过几何编码体和超网络引入可推广的先验知识。具体而言，我们的方法从生成的多视角输入构建神经编码体。我们在测试时通过超网络调整SDF网络的权重，以允许模型适应新场景。为了减轻合成视角产生的伪影，我们提出了使用体积变换模块来改善图像特征的聚合，而不是分别处理每个视角。通过我们提出的方法，称为Hyper-VolTran，我们避免了特定场景优化的瓶颈，并保持了从多个视点生成的图像的一致性。我们的实验表明了我们的方法的优点，具有一致的结果和快速的生成速度。

论文旨在解决从单个视角进行图像到3D重建的问题，尤其是解决现有方法在泛化能力和一致性方面的局限性。

论文提出了一种新颖的神经渲染技术，使用符号距离函数作为表面表示，并通过几何编码体和HyperNetworks引入可推广的先验知识。

论文提出的方法名为Hyper-VolTran，通过生成的多视角输入构建神经编码体，利用HyperNetworks在测试时调整SDF网络权重以适应新场景，并使用卷积变换模块改进图像特征的聚合。实验结果表明，该方法具有一致的结果和快速的生成速度。

最近的相关研究包括使用深度学习进行3D重建的方法，以及使用符号距离函数进行表面重建的方法。