My3DGen: Building Lightweight Personalized 3D Generative Model

解决问题： 该论文旨在解决如何使用尽可能少的图像来创建个性化的轻量级3D生成模型的问题。该论文的思路是新的，因为它是第一个开发个性化3D生成先验的研究。

关键思路： 该论文提出了一种参数高效的方法，通过低秩分解每个卷积和全连接层中的权重来利用预训练模型作为通用先验，同时训练单独的个性化先验。为了解决过度拟合问题，该论文还引入了一种基于人脸对称性的正则化技术。最终系统结合了低秩微调和对称正则化，并显著超越了预训练模型的性能。

其他亮点： 该论文的实验展示了该系统的性能，包括重建和生成3D面孔的质量。该论文还提供了代码，方便其他研究人员使用和参考。在未来，该研究可以进一步深入探究如何提高个性化3D生成模型的性能。

关于作者： 主要作者包括Luchao Qi、Jiaye Wu、Shengze Wang和Soumyadip Sengupta。他们分别来自美国加州大学伯克利分校和加州大学圣地亚哥分校。根据我的数据库，他们之前的代表作包括“Deep High-Resolution Representation Learning for Human Pose Estimation”和“DeepH3D: Depth Prediction from a Single RGB Image via Hybrid Network and Soft Argmax Regression”。

相关研究： 近期的相关研究包括“3D-Aware GAN: Improving Semantic Image Synthesis for 3D Objects”（作者：Jiajun Wu、Chen Gao等，机构：斯坦福大学）和“PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization”（作者：Shunsuke Saito、Zeng Huang等，机构：加州大学伯克利分校）。

论文摘要：本文介绍了My3DGen，这是一个实用的系统，可以使用尽可能少的10张图像创建个性化且轻量级的3D生成先验。My3DGen可以从输入的测试图像重建多视角一致的图像，并通过在同一人物的任意两个图像之间插值生成新的外观。虽然最近的研究证明了个性化生成先验在产生高质量的2D肖像重建和合成方面的有效性，但据我们所知，我们是第一个开发个性化3D生成先验的研究者。我们提出了一种参数高效的方法，而不是通过微调具有数百万参数的大型预训练生成模型来实现个性化。我们的方法涉及使用具有固定权重的预训练模型作为通用先验，同时通过每个卷积和完全连接层中的权重的低秩分解来训练单独的个性化先验。然而，单独进行参数高效的少量数据微调往往会导致过度拟合。为了解决这个问题，我们引入了一种基于人脸对称性的正则化技术。这种正则化强制要求训练样本的新视角渲染，从对称姿势渲染时显示相同的身份。通过结合这种对称性先验，我们增强了重建和合成的质量，特别是对于非正面（侧面）的面部。我们最终的系统将低秩微调与对称正则化相结合，显著超越了预训练模型（例如EG3D）的性能。与原始模型的完全微调相比，每个身份只引入了大约0.6百万个额外的参数，而后者则需要31百万个参数。因此，我们的系统在不牺牲生成的3D面部的质量的情况下，实现了模型大小的50倍减小。我们的代码将在项目页面https://luchaoqi.github.io/my3dgen上提供。

内容中包含的图片若涉及版权问题，请及时与我们联系删除