MIGS: Multi-Identity Gaussian Splatting via Tensor Decomposition

我们介绍了一种新方法，称为MIGS（Multi-Identity Gaussian Splatting），它可以使用单目视频学习多个身份的单一神经表征。最近的人体化身的三维高斯喷溅（3DGS）方法需要对每个身份进行优化。然而，学习多个身份的表征可以在任意姿势下稳健地动画化人类，具有优势。我们建议构建一个高阶张量，将所有可学习的3DGS参数组合为所有训练身份。通过假设低秩结构并分解张量，我们在统一的网络中建模多个主体的复杂刚性和非刚性变形，显着减少了总参数数。我们提出的方法利用所有训练身份的信息，使其能够在具有挑战性的未见姿势下进行稳健的动画，优于现有方法。它也可以扩展到学习未见身份。

本论文的问题是如何使用单目视频学习多个身份的单一神经表示，并在任意姿势下实现鲁棒的人体动画。

本论文的关键思路是构建一个高阶张量，将所有可学习的3DGS参数组合成一个张量，并假设低秩结构，对张量进行分解，从而在一个统一的网络中建模多个主体的复杂刚性和非刚性变形，并显著减少总参数数目。

本论文的亮点包括：1.使用单目视频实现多个身份的单一神经表示；2.构建一个高阶张量，将所有可学习的3DGS参数组合成一个张量，并假设低秩结构，对张量进行分解；3.实现了鲁棒的人体动画，可以扩展到学习未知身份；4.在实验中使用了多个数据集，并且在未见过的姿势下表现出色。

最近在这个领域中，还有一些相关的研究，如：1.3D人体重建；2.使用深度学习进行人体姿态估计；3.使用多个摄像头进行人体重建。