Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations

虽然语言模型（LM）驱动的聊天机器人和生成式搜索引擎在回答具体问题方面表现出色，但在未知领域中发现信息对用户来说仍然具有挑战性。为了模拟孩子们/学生通过聆听和参与父母/老师的对话来学习的常见教育场景，我们创建了协作式STORM（Co-STORM）。与需要用户提出所有问题的问答系统不同，Co-STORM允许用户观察并偶尔引导多个语言模型代理之间的讨论。这些代理代表用户提问，使用户能够偶然地发现未知的未知信息。为了便于用户互动，Co-STORM通过将揭示的信息组织成动态思维导图来帮助用户跟踪讨论，并最终生成一份全面的报告作为总结。为了进行自动评估，我们构建了WildSeek数据集，收集了带有用户目标的真实信息检索记录。Co-STORM在对话轨迹和报告质量方面均优于基线方法。在进一步的人类评估中，70%的参与者更喜欢Co-STORM而不是搜索引擎，而78%的参与者则更倾向于选择Co-STORM而非基于RAG的聊天机器人。

该论文试图解决用户在使用语言模型驱动的聊天机器人和生成式搜索引擎时，难以发现未知未知信息的问题。这是一个相对新颖的问题，尤其是在教育场景中，如何帮助学生通过观察和参与对话来学习。

论文的关键思路是创建一个名为Co-STORM的系统，该系统允许用户观察多个语言模型代理之间的对话，并偶尔引导讨论。这些代理会代表用户提问，从而帮助用户偶然发现未知未知的信息。与传统的问答系统不同，Co-STORM通过动态思维导图组织信息，并最终生成一份综合报告。

论文通过构建WildSeek数据集来自动评估系统的性能，该数据集收集了真实的信息寻求记录和用户目标。实验结果显示，Co-STORM在对话轨迹和报告质量方面均优于基线方法。此外，人类评估表明，70%的参与者更喜欢Co-STORM而不是搜索引擎，78%的参与者更喜欢它而不是RAG聊天机器人。论文还提供了开源代码，方便后续研究。

最近在这个领域，还有一些相关的研究，例如《Dialogue-based Interactive Learning with Unknown Unknowns》和《Serendipitous Information Discovery in Conversational Agents》。这些研究都试图通过对话增强用户的信息发现能力，但Co-STORM的独特之处在于其多代理对话机制和动态思维导图的结合。