PKU-DyMVHumans: A Multi-View Video Benchmark for High-Fidelity Dynamic Human Modeling

高质量的人类重建和真实感渲染动态场景一直是计算机视觉和图形学中存在已久的问题。尽管在开发各种捕捉系统和重建算法方面投入了相当多的努力，但最近的进展仍然难以处理宽松或过大的衣服和过于复杂的姿势。部分原因是由于获取高质量人类数据集的挑战。为了促进这些领域的发展，在本文中，我们提出了PKU-DyMVHumans，一个多功能的以人为中心的数据集，用于从密集的多视角视频中进行高保真重建和渲染动态人类场景。它包括由超过56个同步摄像头捕获的8.2百万帧，涵盖各种场景。这些序列包括32个人类主体，覆盖45个不同的场景，每个场景都具有高度详细的外观和逼真的人体动作。受到神经辐射场（NeRF）基于场景表示的最新进展的启发，我们精心设置了一个现成的框架，易于提供这些最先进的基于NeRF的实现，并在PKU-DyMVHumans数据集上进行基准测试。它为各种应用程序铺平了道路，例如细粒度的前景/背景分解、高质量的人类重建和动态场景的真实感新视图合成。在基准测试上进行了广泛的研究，展示了使用这种高保真动态数据出现的新观察和挑战。该数据集可在https://pku-dymvhumans.github.io上获得。

解决高质量人物重建和照片般逼真的动态场景渲染问题

使用PKU-DyMVHumans数据集为基础，利用神经辐射场（NeRF）实现高保真度的重建和渲染

PKU-DyMVHumans数据集包括8.2百万帧多视角视频，涵盖32个人物和45个不同场景，提供高质量的人物外观和真实的动作，实验结果表明该数据集可用于前景/背景分解、高质量人物重建和照片般逼真的新视角合成等应用。论文提供了易于使用的NeRF实现并开源数据集。

近期相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Multi-view Neural Human Rendering with Spatially-varying Lighting and Reflectance》等。