Foundations and Recent Trends in Multimodal Mobile Agents: A Survey

移动代理在复杂和动态的移动环境中自动化任务方面是必不可少的。随着基础模型的发展，对能够实时适应和处理多模态数据的代理的需求也在增长。本综述全面回顾了移动代理技术，重点关注了增强实时适应性和多模态交互的最新进展。最近开发的评估基准更好地捕捉了移动任务的静态和互动环境，提供了更准确的代理性能评估。我们将这些进展分为两大类方法：基于提示的方法，利用大型语言模型（LLMs）进行基于指令的任务执行；以及基于训练的方法，针对移动特定应用微调多模态模型。此外，我们还探讨了增强代理性能的互补技术。通过讨论关键挑战并概述未来的研究方向，本综述为推进移动代理技术提供了宝贵的见解。相关资源列表可在 https://github.com/aialt/awesome-mobile-agents 获取。

该论文旨在解决在复杂和动态的移动环境中自动化任务的需求，特别是提高移动代理在实时适应性和多模态交互方面的能力。这是一个随着基础模型的发展而日益重要的问题。

论文的关键思路是将移动代理技术的最新进展分为两大类：基于提示的方法和基于训练的方法。基于提示的方法利用大型语言模型（LLMs）执行指令驱动的任务，而基于训练的方法则对多模态模型进行微调以适用于特定的移动应用。这一分类方法有助于更清晰地理解不同技术的优势和适用场景。

论文不仅详细介绍了最新的评估基准，这些基准能够更好地捕捉静态和互动环境中的移动任务，还探讨了增强代理性能的互补技术。此外，论文提供了一个全面的资源列表，包括GitHub上的开源代码和数据集，为未来的研究提供了宝贵的参考。未来的研究方向包括进一步优化实时适应性和多模态处理能力，以及开发更高效的评估标准。

最近在这个领域的一些相关研究包括： 1. "Multimodal Mobile Agents for Dynamic Environments" - 探讨了多模态代理在动态环境中的应用。 2. "Real-Time Adaptation in Mobile Agents Using Reinforcement Learning" - 研究了强化学习在提高移动代理实时适应性方面的潜力。 3. "Prompt-Based Mobile Agents for Complex Tasks" - 深入分析了基于提示的方法在复杂任务中的表现。 4. "Evaluating Mobile Agent Performance in Interactive Environments" - 提出了新的评估标准来衡量移动代理在互动环境中的表现。