Revisit Human-Scene Interaction via Space Occupancy

人-场景交互（HSI）生成是一项具有挑战性的任务，对于各种下游任务至关重要。然而，其中一个主要障碍是数据规模有限。同时捕捉人和3D环境的高质量数据很难获取，导致数据多样性和复杂性有限。在这项工作中，我们认为与场景互动实质上是从抽象物理角度与场景的空间占用交互，从而引导我们提出了人-占用交互的统一新视角。通过将纯运动序列视为人与不可见场景占用交互的记录，我们可以将仅有运动数据聚合到一个大规模的配对人-占用交互数据库中：运动占用库（MOB）。因此，可以大大减轻需要昂贵的配对运动-场景数据集和高质量场景扫描的需求。通过这种新的人-占用交互的统一视角，提出了一个单一的运动控制器，可以在给定周围占用情况的情况下达到目标状态。一旦在具有严格的占用布局的MOB上进行训练，该控制器就可以处理狭窄的场景，并很好地推广到像常规客厅这样复杂度有限的普通场景中。在没有GT 3D场景进行训练的情况下，我们的方法可以在各种情景中生成逼真且稳定的HSI运动，包括静态和动态场景。该项目可在https://foruck.github.io/occu-page/上获得。

解决问题：本论文试图解决HSI数据规模有限的问题，通过提出一种新的统一的视角——人-占据交互，将人在场景中的交互视为与场景占据的交互，从而将单独的动作序列转化为大规模的人-占据交互数据集。

关键思路：本论文提出了一种新的统一的视角——人-占据交互，并通过Motion Occupancy Base (MOB)数据集，训练出一个单一的运动控制器，使其能够处理复杂的场景和一般场景，并在没有3D场景的情况下生成逼真稳定的HSI动作。

其他亮点：本论文的实验表明，该方法在各种场景中都能生成逼真稳定的HSI动作。此外，MOB数据集的提出可以大大减轻昂贵的配对运动-场景数据集的需求，并且该方法可以在没有GT 3D场景的情况下训练。该项目已经开源。

相关研究：最近在这个领域中，还有一些相关的研究，如《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》、《Learning to Navigate the Energy Landscape》等。