CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Canonicalization

在数字内容创作领域，从单个图像生成高质量的3D角色是具有挑战性的，特别是考虑到各种身体姿势的复杂性以及自我遮挡和姿势模糊的问题。本文介绍了一个名为CharacterGen的框架，用于高效地生成3D角色。CharacterGen引入了一个简化的生成流程，以及一个基于图像条件的多视角扩散模型。该模型有效地将输入姿势校准到规范形式，同时保留输入图像的关键属性，从而解决了多姿态带来的挑战。我们的方法的另一个核心组件是基于Transformer的、可推广的稀疏视图重建模型，有助于从多视角图像创建详细的3D模型。我们还采用了一种纹理反投影策略来产生高质量的纹理映射。此外，我们还精心策划了一个动漫角色数据集，渲染了多个姿势和视角，用于训练和评估我们的模型。我们的方法已通过定量和定性实验进行了全面评估，表明其能够生成具有高质量形状和纹理的3D角色，可用于下游应用，如绑定和动画。

本文旨在解决从单张图像生成高质量3D角色的挑战，特别是在考虑到各种体位姿势的复杂性以及自遮挡和姿势歧义问题时。

本文提出了CharacterGen框架，包括一个流畅的生成流程和一个基于图像条件的多视角扩散模型。该模型有效地将输入姿势校准为规范形式，同时保留输入图像的关键属性，从而解决了多样化姿势带来的挑战。

本文采用基于Transformer的通用稀疏视图重建模型，以从多视角图像中创建详细的3D模型。还采用了纹理反投影策略来产生高质量的纹理贴图。作者构建了一个包含多个姿势和视角的动漫角色数据集，用于训练和评估模型。实验结果表明，该方法能够有效地生成具有高质量形状和纹理的3D角色，可用于后续的绑定和动画。

近期的相关研究包括：《Single-Image 3D Reconstruction of Deformable Surfaces with Non-rigid Structure from Motion》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。