Generalizable Human Gaussians for Sparse View Synthesis

近年来神经渲染的进展带来了开创性的方法，如NeRF和高斯喷洒，这些方法在AR / VR、游戏和内容创作等各个领域的视图渲染方面实现了革命性的突破。虽然这些方法在训练数据内部的插值方面表现出色，但从非常稀疏的视图推广到新的场景和对象的挑战仍然存在。具体而言，由于人体几何的固有复杂性，从稀疏视图建模3D人体存在巨大的障碍，导致几何和纹理的重建不准确。为了解决这个挑战，本文利用了高斯喷洒的最新进展，引入了一种学习通用人类高斯函数的新方法，可以以前馈方式从有限的稀疏视图中实现新的人类主体的逼真和准确的视图渲染。我们方法的一个关键创新是将3D高斯参数的学习重新定义为在人类模板的2D UV空间上定义的回归过程，这允许利用强大的几何先验和2D卷积的优势。此外，提出了一个多支架结构来有效表示偏移细节。我们的方法在数据集内部和跨数据集的泛化设置方面都优于最近的方法。

论文试图通过利用高斯喷洒的最新进展，提出一种新的方法，从有限的稀疏视图中学习可推广的人类高斯模型，以实现对新主体的视图渲染，并解决了稀疏视图下建模人体几何的挑战。

论文的关键思路是将学习3D高斯参数的过程重新定义为在人体模板的2D UV空间上的回归过程，从而利用强的几何先验和2D卷积的优势，提出了一种多支架的方法来有效地表示偏移细节。

该方法在数据集内外推广的设置上均优于最近的方法。实验使用了多个数据集，并开源了代码，有助于进一步研究。

与此相关的最新研究包括NeRF和Gaussian Splatting等方法。