EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents

利用多模态大语言模型（MLLMs）来创建具身智能体为解决现实世界任务提供了一条有前景的途径。尽管以语言为中心的具身智能体已经引起了广泛关注，但基于MLLMs的具身智能体由于缺乏全面的评估框架而尚未得到充分探索。为了弥补这一差距，我们引入了EmbodiedBench，这是一个旨在评估视觉驱动的具身智能体的广泛基准测试平台。EmbodiedBench具有以下特点：（1）涵盖四个环境中的1,128个多样化的测试任务，从高层语义任务（例如家庭任务）到涉及原子动作的低层任务（例如导航和操作）；以及（2）六个精心策划的子集，用于评估智能体的关键能力，如常识推理、复杂指令理解、空间意识、视觉感知和长期规划。通过广泛的实验，我们在EmbodiedBench中评估了13种领先的专有和开源MLLMs。我们的研究结果表明：MLLMs在高层任务中表现出色，但在低层操作方面存在困难，表现最好的模型GPT-4o平均得分仅为28.9%。EmbodiedBench提供了一个多维度的标准评估平台，不仅突显了现有的挑战，还为推进基于MLLMs的具身智能体提供了宝贵的见解。我们的代码可在https://embodiedbench.github.io获取。

该论文试图解决多模态大语言模型（MLLMs）在创建具身智能体时的评估难题，特别是针对视觉驱动的具身智能体。这是一个相对较新的问题领域，因为尽管语言为中心的具身智能体已经受到了广泛关注，但基于MLLM的具身智能体仍处于探索阶段。

论文的关键思路是通过引入一个名为EmbodiedBench的全面基准测试平台来填补这一空白。EmbodiedBench不仅涵盖了多样化的任务集和环境，还特别设计了六个子集来评估智能体的核心能力，如常识推理、复杂指令理解、空间意识、视觉感知和长期规划。相比现有研究，这种方法提供了一个系统化且标准化的评估框架，有助于揭示当前模型的优势与不足。

该研究的重要亮点包括：1) 提供了1,128个跨四个不同环境的任务，涵盖从高层语义到低层操作的各种挑战；2) 针对六种核心能力进行了细致的子集划分；3) 对13种领先的专有和开源MLLM进行了广泛的实验评估；4) 发现当前最先进的模型（如GPT-4o）在低层次操作上的表现仍然有限；5) 开源了所有代码和数据集，为后续研究提供了宝贵资源。未来值得深入的研究方向包括改进低层次操作的表现以及开发更复杂的任务场景。

最近在这个领域内的相关研究还包括《Visual Navigation and Manipulation in Embodied Agents》、《Benchmarking Embodied AI: Challenges and Opportunities》、《Multimodal Learning for Robotic Control》等。这些研究主要集中在提升具身智能体的导航能力、操作技能以及多模态学习方面。