Multi-Agent Conversational Online Learning for Adaptive LLM Response Identification

大型语言模型（LLMs）卓越的生成能力引发了自动为不同应用生成响应的日益增长的兴趣。鉴于用户偏好的动态性质以及LLM响应性能的不确定性，设计高效的在线学习算法以识别最优的LLM响应（即高质量且符合用户偏好的响应）至关重要。现有的大多数在线算法采用集中式方法，未能充分利用明确的用户偏好来进行更高效和个性化的LLM响应识别。相比之下，本文介绍了多智能体对话在线学习（MACO），用于适应性LLM响应识别：1) 通过多个本地代理（如智能手机）加速在线LLM响应识别过程，同时增强数据隐私；2) 提出了一种新颖的对话机制，自适应地进行对话以征求用户偏好（例如，在生成的响应中更喜欢幽默风格而非严肃风格），从而最小化偏好估计中的不确定性。我们的理论分析表明，MACO在累积遗憾方面接近最优。此外，MACO通过消除传统计算密集型的“G-最优设计”，减少了通信成本和计算复杂度。广泛的实验使用开放的LLM Llama，并结合来自Google和OpenAI的两种不同的嵌入模型进行文本向量表示，证明了MACO在在线LLM响应识别方面显著优于当前的最先进水平。

该论文试图解决大型语言模型（LLM）响应生成中的两个主要问题：一是如何在不确定的用户偏好和动态环境中高效识别高质量的LLM响应；二是现有集中式在线学习算法未能充分利用显式的用户偏好，导致个性化不足。这是一个新的研究方向，旨在提高LLM响应的质量和个性化水平。

论文提出了一个名为MACO（Multi-Agent Conversational Online Learning for Adaptive LLM Response Identification）的框架，通过多代理分布式学习加速LLM响应的在线识别过程，并通过新颖的对话机制自适应地收集用户偏好，以减少偏好估计的不确定性。与传统方法相比，MACO不仅提高了效率，还增强了数据隐私保护，减少了通信成本和计算复杂度。

1. MACO通过多代理系统加速了LLM响应的在线识别过程，同时确保了数据隐私。 2. 提出了一种新的对话机制，能够自适应地与用户互动，以更好地理解用户的偏好。 3. 理论分析表明，MACO在累积遗憾方面接近最优。 4. 实验使用了开源LLM Llama以及来自Google和OpenAI的嵌入模型进行验证，结果显示MACO显著优于现有方法。 5. 消除了传统方法中计算密集型的“G-optimal设计”，进一步降低了计算成本。

近年来，在LLM响应优化领域，相关研究主要包括： 1. 集中式在线学习算法，如《Online Learning for Personalized Response Generation》。 2. 用户偏好建模的研究，如《Preference-aware Dialogue Systems》。 3. 分布式学习框架，如《Federated Learning for Language Models》。 4. 对话系统中的用户交互优化，如《Conversational Preference Elicitation in Recommender Systems》。 这些研究为MACO提供了理论和技术基础，但MACO通过引入多代理系统和自适应对话机制，进一步提升了响应质量和个性化水平。