Physics-based Scene Layout Generation from Human Motion

在电影或视频游戏的3D动画中，创建实现真实人-场景交互的场景非常重要。由于角色动作通常是在蓝屏幕工作室中捕捉的，没有真实的家具或物体，因此计划中的动作和捕捉的动作可能存在差异。这就需要自动场景布局生成来减轻选择和定位家具和物体的负担。以前的方法无法避免由于缺乏物理约束而产生的穿透和浮动等伪影。此外，一些方法严重依赖于特定数据来学习接触性能，限制了对不同动作的泛化能力。在这项工作中，我们提出了一种基于物理的方法，同时优化场景布局生成器和在物理模拟器中模拟移动的人物。为了获得可信和真实的交互动作，我们的方法明确引入物理约束。为了自动恢复和生成场景布局，我们最小化运动跟踪误差，以确定可以承受交互的对象。我们使用强化学习来执行角色运动模仿控制器和场景布局生成器的双重优化。为了促进优化，我们重塑跟踪奖励，并设计从伪接触标签中获得的姿势先验指导。我们使用SAMP和PROX中的动作进行评估，并展示了与以前基于运动学的方法相比，具有物理可信的场景布局重建。

解决问题：论文试图解决在3D动画中，由于缺乏实际场景，导致人物动作和场景物体交互不真实的问题。

关键思路：论文提出了一种基于物理学的方法，通过同时优化场景布局生成器和物理模拟器中的人物移动，来实现真实的交互动作。同时，通过引入物理约束条件，以避免穿透和漂浮等不真实的现象。

其他亮点：论文使用强化学习来进行双重优化，同时优化人物移动控制器和场景布局生成器。实验使用了SAMP和PROX数据集，展示了与之前基于运动学的方法相比，更真实的场景布局重建。

相关研究：最近的相关研究包括《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》和《Simulating Humans in Furniture: Efficient Simulation of Objects with Multiple Contact Points》等。