PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System

将人形机器人部署到真实世界环境中以实现与环境的交互——例如搬运物体或坐在椅子上——需要具备可泛化、逼真的运动能力以及鲁棒的场景感知能力。尽管先前的研究方法已分别在各自领域取得了进展，但将这两种能力整合到一个统一系统中仍然是一个持续存在的挑战。在本研究中，我们提出了一种面向物理世界的人形机器人-场景交互系统PhysHSI，该系统使人形机器人能够自主执行多种交互任务，同时保持自然且拟人化的行为表现。PhysHSI包含一个仿真训练流程和一个真实世界部署系统。在仿真阶段，我们采用基于对抗性运动先验的策略学习方法，模仿多种场景下自然的人形机器人-场景交互数据，从而实现良好的泛化能力与逼真行为。在真实世界部署方面，我们引入了一种由粗到精的对象定位模块，融合激光雷达（LiDAR）和相机输入，提供连续且鲁棒的场景感知能力。我们在仿真环境和真实世界中，针对四种典型交互任务——搬箱子、坐下、躺下和起身——对PhysHSI进行了验证，结果表明该系统在不同任务目标下均表现出持续较高的成功率、出色的泛化能力以及自然的运动模式。

论文试图解决人形机器人在真实世界环境中与场景交互时缺乏通用性、自然动作和鲁棒感知的问题。当前大多数方法仅单独优化运动控制或环境感知，难以在多样化任务（如搬箱子、坐椅子等）中实现既自然又可靠的行为。这是一个尚未充分解决的现实挑战，尤其在从仿真到真实世界的迁移方面存在显著鸿沟。

提出PhysHSI系统，结合基于对抗运动先验的策略学习以生成类人且泛化的动作，并设计粗到精的多模态（LiDAR+相机）物体定位模块实现稳健的场景感知。其创新在于将自然动作模仿与实时感知融合于统一框架，并支持仿真到真实世界的有效迁移。相比现有工作，该方法更强调行为的自然性与跨任务泛化能力的协同优化。

在仿真和真实世界中验证了四项任务（搬箱、坐下、躺下、起立），成功率高且动作自然；使用多模态传感器提升定位鲁棒性；训练依赖于多样化的交互动作数据，具备良好泛化性；实验设计覆盖室内外多种场景。目前未提及开源代码。值得深入的方向包括扩展至更多动态交互任务及增强对未知物体的零样本适应能力。

1. Learning to Walk in Simulation and Reality for Humanoid Robots 2. Contact-Adaptive Control for Humanoid Whole-Body Motion Planning 3. Neural State Machine for Character-Scene Interactions 4. Real-World Deployment of Mobile Manipulation with Humanoid Robots Using Multi-Sensor Fusion 5. Generalizable Imitation Learning for Human-Robot Interaction Tasks