Inductive-Deductive Strategy Reuse for Multi-Turn Instructional Dialogues

将大型语言模型（LLMs）与人类期望对齐需要高质量的指导对话，这可以通过提出多样化、深入和有洞察力的指导来实现，从而加深交互。现有方法的目标是从真实的指导对话中获取指导，并微调用户模拟器以提出指导。然而，用户模拟器很难隐式地模拟复杂的对话流程并提出高质量的指导。在本文中，我们从人类学习中固有的认知能力中获得灵感，并通过指导策略重用来明确建模复杂的对话流程。具体而言，我们首先从各种真实的指导对话中引出高层策略。这些策略应用于新的对话场景中，通过指导策略来促进高质量的指导。实验结果表明，我们的方法可以针对给定的对话历史生成多样化、深入和有洞察力的指导。构建的多轮指导对话可以在下游聊天模型中胜过竞争基线。

本论文旨在通过引入人类学习中的认知能力，通过教学策略重用来显式建模复杂的对话流程，从而解决大型语言模型（LLMs）与人类期望的对齐问题。

本论文的关键思路是从各种真实的教学对话中归纳出高层次的策略，并将这些策略演绎应用于新的对话场景中，从而实现高质量的指导。这种方法可以生成多样化、深入和富有洞察力的指导，优于竞争基线模型。

论文的亮点在于提出了一种新的方法，即教学策略重用，来显式建模复杂的对话流程。实验结果表明，该方法可以在给定的对话历史记录上生成多样化、深入和富有洞察力的指导，优于竞争基线模型。该论文使用了真实的教学对话数据集，并开源了代码。

在这个领域中，一些相关的研究包括：1.《A Survey of Dialogue Systems: Recent Advances and New Frontiers》；2.《Learning to Simulate Complex Physics with Graph Networks》；3.《Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog》。