MIGS: Multi-Identity Gaussian Splatting via Tensor Decomposition

我们介绍了一种新方法MIGS（多身份高斯喷洒），它使用单目视频学习多个身份的单一神经表示。最近的人类化身的三维高斯喷洒（3DGS）方法需要每个身份的优化。然而，学习多个身份的表示在稳健地动画化人类在任意姿势下具有优势。我们建议构建一个高阶张量，将所有可学习的3DGS参数组合为所有训练身份。通过假设低秩结构并分解张量，我们在统一网络中模拟多个主体的复杂刚性和非刚性变形，显着减少了总参数数量。我们的方法利用所有训练身份的信息，在具有挑战性的未见姿势下实现了稳健的动画效果，优于现有方法。我们还展示了如何将其扩展到学习未见身份。

论文提出了MIGS方法，旨在解决单目视频下学习多个身份的问题，以实现人类形象的鲁棒动画。

论文提出了构建高阶张量来结合所有可学习的3DGS参数，从而学习多个身份的复杂刚性和非刚性变形，并通过假设低秩结构和分解张量来显著减少总参数数量。

论文的实验结果表明，MIGS方法能够从所有训练身份中获取信息，实现了在具有挑战性的未见姿势下的鲁棒动画，优于现有方法。此外，论文还展示了如何将该方法扩展到学习未见身份。

最近的相关研究包括3D Gaussian Splatting (3DGS)方法，需要每个身份进行优化，以及其他基于单目视频的人类形象动画方法。