Embodied Question Answering via Multi-LLM Systems

“具身问答”（EQA）是一个重要的问题，它涉及到代理探索环境以回答用户查询。在现有的文献中，EQA仅在单代理场景中进行研究，其中探索可能耗时且昂贵。在这项工作中，我们考虑了一个多代理框架中的EQA，其中涉及多个基于大型语言模型（LLM）的代理，独立回答有关家庭环境的查询。为了为每个查询生成一个答案，我们使用各个回答来训练一个中央答案模型（CAM），以聚合响应以获得强健的答案。使用CAM，我们观察到与集成LLM的聚合方法（如投票方案和辩论）相比，EQA准确性提高了50％。CAM不需要任何形式的代理通信，从而减轻了相关成本。我们使用各种非线性（神经网络，随机森林，决策树，XGBoost）和线性（逻辑回归分类器，SVM）算法来削弱CAM。最后，我们通过置换特征重要性（PFI）来展示CAM的特征重要性分析，量化CAM对每个独立代理和查询上下文的依赖性。

本论文旨在解决多智能体环境下的Embodied Question Answering（EQA）问题，通过使用多个大型语言模型（LLM）来回答用户关于家庭环境的查询，提高EQA的准确性。

论文提出了一种Central Answer Model（CAM）来聚合多个独立智能体的回答，使得EQA的准确性比集成LLM的其他方法如投票方案和辩论方法提高了50％。CAM不需要任何形式的智能体通信，从而减轻了相关成本。

论文使用多个大型语言模型来独立回答关于家庭环境的查询，然后使用Central Answer Model（CAM）来聚合这些回答以获得更准确的结果。CAM不需要智能体之间的通信，从而减轻了相关成本。论文还使用了各种非线性和线性算法对CAM进行了评估，并通过排列特征重要性（PFI）进行了特征重要性分析。

最近的相关研究包括在单个智能体情景下的EQA问题的研究，以及使用多个模型进行集成的研究。