Cinematic Behavior Transfer via NeRF-based Differentiable Filming

在数字媒体和视频制作不断发展的背景下，精确操纵和再现摄像机运动和角色动作等视觉元素变得非常重要。现有的SLAM方法在动态场景下存在局限性，人体姿态估计通常关注2D投影，忽略了3D状态。为了解决这些问题，我们首先介绍了一种反向拍摄行为估计技术。它通过利用NeRF作为可微分渲染器和优化SMPL轨迹来优化摄像机轨迹。然后，我们介绍了一种电影转移管道，能够将各种镜头类型转移到新的2D视频或3D虚拟环境中。3D引擎工作流的整合使得能够实现更高质量的渲染和控制能力，也在用户研究中取得了更高的评分。

本文旨在解决数字媒体和视频制作中的动态场景和人体姿态估计问题，以及如何将不同的镜头类型转移到新的2D视频或3D虚拟环境中。

本文提出了一种反向拍摄行为估计技术，通过利用NeRF作为可微分渲染器和精细化SMPL轨迹来优化相机轨迹。同时，引入了一个电影转换管道，能够将各种镜头类型转移到新的2D视频或3D虚拟环境中。

本文的亮点在于提出了反向拍摄行为估计技术和电影转换管道，能够更好地处理动态场景和人体姿态估计问题，并在用户研究中取得了更高的评分。实验使用了不同的数据集，并开源了代码。

在这个领域中，最近的相关研究包括《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》和《Learning to Infer Implicit Surfaces without 3D Supervision》等。