Multimodal Query Suggestion with Multi-Agent Reinforcement Learning from Human Feedback

在信息检索的快速发展中，搜索引擎努力为用户提供更个性化和相关的结果。查询建议系统通过帮助用户制定有效的查询，发挥着实现这一目标的关键作用。然而，现有的查询建议系统主要依赖于文本输入，可能会限制用户查询图像的搜索体验。本文介绍了一种新颖的多模式查询建议（MMQS）任务，旨在基于用户查询图像生成查询建议，以改善搜索结果的意图和多样性。我们提出了RL4Sugg框架，利用大型语言模型（LLMs）和人类反馈的多智能体强化学习来优化生成过程。通过全面的实验，我们验证了RL4Sugg的有效性，相比于最佳现有方法，表现出18%的改进。此外，MMQS已被转化为实际的搜索引擎产品，提高了用户参与度。我们的研究推进了查询建议系统，并为多模态信息检索提供了新的视角。

本文旨在解决搜索引擎中对于图片查询的查询建议系统不足的问题，提出了一个基于多模态查询建议的任务，旨在通过用户查询图像生成查询建议，提高搜索结果的意图性和多样性。

本文提出了一种名为RL4Sugg的框架，利用大型语言模型和基于人类反馈的多智能体强化学习来优化生成过程，从而实现多模态查询建议。

实验结果表明，相较于现有的最佳方法，RL4Sugg的性能提高了18%。此外，该任务已经被转化为现实世界中的搜索引擎产品，提高了用户参与度。

最近的相关研究包括：1. “Query Suggestion Based on User Feedback via Reinforcement Learning” 2. “Multimodal Retrieval: A Survey of the State-of-the-Art” 3. “Learning to Learn from Human Feedback for Query Suggestion”