
报告主题:真实物理世界行走测试,VLM在具身闭合回路中的行动智能,HumanCLAW
给GPT、Gemini、Claude一具身体,让它们自己在真实物理的房子里走路、找东西、坐下来,会怎样?我们让冻结的VLM直接当"大脑",每 0.5 秒决定身体做什么,动作由生成模型完成,物理后果真实计算。
来自Meta、南洋理工大学、华盛顿大学、布朗大学和西北大学的研究者提出 HumanCLAW,将高层行动选择与低层运动控制分开,同时保留连续运动、碰撞、接触和重力。九个前沿 VLM 接受同一套测试,表现最好的模型完成完整交互的成功率只有 「16.8%」。
和过去一年主导具身智能的 VLA 路线不同,HumanCLAW 是一个 agentic embodied AI 框架:"决策"和"执行"完全 decouple。动作由原子化的 motion skill 构成,而决定每时每刻执行哪个skill,是 VLM agent 本身。同时,我们用 half-physics 机制给 human agent 一具"永不摔倒的身体":碰撞、重力、推倒物体都真实发生,但平衡和电机层面的 locomotion failure 被排除在外,于是每一次失败都可以归因到决策。我们把这种"在执行回路里逐时刻决定身体该做什么"的能力叫做 Action intelligence。
基于此我们设计了 HumanCLAW-Bench:1,218 个任务、41 栋房子、9 个最强的 VLM,没有一个能搞定,最好的只有 16.8%。更有意思的是失败的原因:不是看不见目标,而是不知道自己的身体在哪。到了不知道停,坐下坐到空气里。VLM 会描述世界,却意识不到自己。我们把这个缺失的能力叫做 embodied self-awareness。
我们也在HumanCLAW-Bench 上测了GPT-6,Find / Nav / Interact 三项成功率的Best 从 64.9 / 42.4 / 16.8 涨到 75.5 / 57.1 / 46.6,embodied self-awareness 的上限已经被明显推高。或许How to act in real world (as a downstream capability)可能会成为下一代 frontier model 重要能力。
报告嘉宾:
李思尧是南洋理工大学MMLab博士(导师Chen Change Loy、刘子纬),并于德国马普所Perceiving Systems访问,以及Meta RealityLabs研究实习生。在他读PhD之前,曾任商汤研究院研究员。他还是2024年Google PhD Fellowship获得者。研究方向为面向开放动态世界的具身智能体代表作包括HumanCLAW、Bailando(CVPR2022 Oral)等。
报告论文:
论文:arxiv.org/abs/2607.27180

更多活动

内容中包含的图片若涉及版权问题,请及时与我们联系删除




评论
沙发等你来抢