DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

解决问题：该论文旨在解决人类中心渲染数据集和基准测试的缺乏多样性的问题，提出了DNA-Rendering，一个包含1500个人物、5000个动作序列和67.5M帧数据的大规模高保真人类表现数据库，为神经演员渲染提供了丰富的资源。

关键思路：该论文的关键思路是构建一个大规模高保真的人类表现数据集，提供了2D/3D人体关键点、前景掩码、SMPLX模型、服装/配件材料、多视图图像和视频等丰富的资源，以提高当前方法在下游渲染任务中的准确性。此外，作者还构建了一个专业的多视图系统来捕捉数据，以确保高质量的资源用于任务的训练和评估。论文提供了一个全面的、大规模的定量基准测试，用于评估新视角合成、新姿势动画合成和新身份渲染方法的进展。

其他亮点：该论文的数据集、代码和基准测试将公开发布。该研究的亮点包括：大规模高保真的人类表现数据集、专业的多视图系统、丰富的资源、全面的基准测试和多个任务的评估。这些亮点将有助于推动人类中心渲染领域的研究进展。

关于作者：该论文的主要作者来自多个机构，包括清华大学、香港科技大学、华为诺亚方舟实验室等。其中，Dahua Lin是计算机视觉领域的著名学者，曾发表多篇高影响力的论文，如"Learning Efficient Convolutional Networks through Network Slimming"等。

相关研究：近期其他相关的研究包括："PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization" (Shunsuke Saito等)、"PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization" (Shunsuke Saito等)、"NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" (Ben Mildenhall等)等。这些研究都关注于人类表现的高保真渲染，并提出了不同的解决方案。

论文摘要：本文介绍了DNA-Rendering，它是一个大规模、高保真的人类表现数据集，用于神经演员渲染。该数据集包含1500个人物角色、5000个动作序列和67.5M帧的数据量。针对每个主题，我们提供了丰富的资源，包括2D/3D人体关键点、前景掩码、SMPLX模型、服装/配件材料、多视角图像和视频。我们构建了一个专业的多视角系统来捕捉数据，其中包含60个同步相机，最大分辨率为4096 x 3000，速度为15 fps，并采用严格的相机校准步骤，确保了高质量的资源用于任务训练和评估。除了数据集，我们还提供了一个全面的、大规模的定量基准测试，包括多个任务，用于评估新颖视角合成、新颖姿势动画合成和新颖身份渲染方法的现有进展。本文描述了我们的DNA-Rendering工作，揭示了人类中心渲染的新观察、挑战和未来方向。数据集、代码和基准测试将在https://dna-rendering.github.io/上公开提供。

内容中包含的图片若涉及版权问题，请及时与我们联系删除