HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion

解决问题：该论文旨在解决如何高保真地捕捉人类运动的问题，以满足在电影制作、电子游戏或视频会议等多种应用场景下的需要。同时，该论文还探索了如何在高分辨率下进行操作，以实现新视角的合成。

关键思路：该论文的关键思路是提出了一种4D动态神经场景表示，可以从多视角视频输入中捕捉全身运动的外观，并能够从未见过的视角进行播放。该方法将时空分解为一个时间矩阵-向量分解，从而以高压缩率捕获细节，实现高保真的重建。相比当前领域的研究，该论文的思路创新之处在于可以在高分辨率下进行操作，并且能够处理复杂的运动场景。

其他亮点：该论文的亮点在于提出了一个新的数据集ActorsHQ，该数据集提供了高达12MP的视频素材，可以进行高保真的重建。实验结果表明，该方法可以有效地利用这些高分辨率的数据，实现了新视角合成的高保真效果。该论文未公开开源代码。

关于作者：主要作者Mustafa Işık、Martin Rünz和Matthias Nießner均来自德国慕尼黑工业大学计算机科学系，是计算机视觉领域的专家。他们之前的代表作包括：《DynamicFusion: Reconstruction and Tracking of Non-rigid Scenes in Real-Time》和《Instant Field-Aligned Meshes》等。

相关研究：近期的相关研究包括：《Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes》（Mildenhall等，UC Berkeley）、《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》（Martin-Brualla等，Google）和《High-Resolution Neural Face Swapping for Visual Effects》（Thies等，Max Planck Institute for Informatics）等。

论文摘要：HumanRF: 高保真度的人体神经辐射场，适用于运动中的人类 作者：Mustafa Işık，Martin Rünz，Markos Georgopoulos，Taras Khakhulin，Jonathan Starck，Lourdes Agapito，Matthias Nießner 在各种应用中，如电影制作、电脑游戏或视频会议中，以高保真度表现人类表现是至关重要的基础模块。为了缩小与生产水平质量之间的差距，我们介绍了HumanRF，这是一个4D动态神经场景表示，它从多视角视频输入中捕捉人体外貌在运动中的全部，同时可以从新的、未见过的视角进行播放。我们的新颖表示作为一种动态视频编码，通过将时空分解成时间矩阵-向量分解，以高压缩率捕捉细节，从而捕捉到长序列中人类演员的时间上连贯的重建，同时在具有挑战性的运动背景下表示高分辨率细节。虽然大多数研究集中在合成4MP或更低分辨率，但我们解决了在12MP下操作的挑战。为此，我们引入了ActorsHQ，这是一个新颖的多视角数据集，提供了160个摄像机的12MP镜头，用于16个序列的高保真度每帧网格重建。我们展示了使用这种高分辨率数据时出现的挑战，并展示了我们新引入的HumanRF如何有效利用这些数据，迈向生产水平质量的新视角合成。

内容中包含的图片若涉及版权问题，请及时与我们联系删除