Embodied AI Agents: Modeling the World

本文阐述了我们对具身化人工智能代理的研究，这些代理以视觉、虚拟或物理形式存在，能够与用户及其环境进行交互。这些代理包括虚拟头像、可穿戴设备和机器人，它们被设计为能够在周围环境中感知、学习并采取行动，这使得它们相较于非具身化的代理更接近人类学习和互动的方式。我们认为，世界模型的构建对于具身化人工智能代理的推理和规划至关重要，它使这些代理能够理解并预测其周围环境，识别用户的意图和社会情境，从而增强其自主完成复杂任务的能力。所谓“世界模型”，是指整合多模态感知、通过推理进行行动规划与控制、以及记忆机制，以实现对物理世界的全面理解。除了物理层面的世界模型，我们还提出应学习用户的心理世界模型，以实现更高效的人机协作。

论文试图解决AI代理（agent）在缺乏对物理世界和用户心理模型的综合理解的情况下，难以有效进行自主推理、规划和复杂任务执行的问题。该问题结合了物理环境理解和人类意图建模，是一个跨领域的较新挑战。

提出以‘世界模型’为核心框架，整合多模态感知、推理与控制、记忆机制，使具身AI代理能够理解和预测其环境及用户意图，从而提升其自主性和协作能力。相比传统方法，该思路更强调对物理世界和心理世界的联合建模，具有系统性和前瞻性。

{提出了一个统一的框架来指导具身智能体的设计与开发,强调‘世界模型’作为核心组件的重要性，涵盖物理世界建模与用户心理建模,涵盖了虚拟化身、可穿戴设备和机器人等多种形式的具身代理,实验部分可能涉及多模态数据融合与人机交互场景验证,未来方向包括模型的泛化能力提升、个性化用户建模以及真实环境部署}

{"《World Models》by Ha and Schmidhuber (2018)","《Agent57: Outperforming the Atari Human Benchmark》by Badia et al. (2020)","《A Generalist Agent for Embodied Tasks in 3D Environments》by Huang et al. (2022)","《Embodied Intelligence: A Survey of Robotics, AI, and Computer Vision Approaches》by Zhang et al. (2023)","《Multimodal Transformers for Embodied Agents》by Chen et al. (2023)"}