Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging

苏格拉底式提问是一种有效的教学策略，可以鼓励批判性思维和解决问题的能力。大型语言模型（LLM）的对话能力显示出提供可扩展、实时学生指导的巨大潜力。然而，目前的LLM通常直接给出解决方案，使它们成为无效的教师。我们通过TreeInstruct解决了这个问题，它是一种由新颖的基于状态空间的规划算法引导的教师代理，用于代码调试领域。TreeInstruct通过提问深入了解学生的知识水平和概念理解，帮助学生独立地识别和解决错误。它根据学生的反应和当前的知识状态动态构建问题树，有效地同时处理独立和依赖性错误，以多轮交互的方式。除了使用现有的单个错误调试基准，我们构建了一个更具挑战性的多错误数据集，包括150个编码问题、错误解决方案和错误修复，所有这些都经过专家仔细构建和注释。广泛的评估显示TreeInstruct在这两个数据集上具有最先进的性能，证明它比基线更有效。此外，对五名技能水平不同的学生进行的真实案例研究进一步证明了TreeInstruct指导学生高效调试代码的能力，最小化轮数和高度苏格拉底式的提问。我们在http://github.com/agarwalishika/TreeInstruct上提供了我们的代码和数据集。

TreeInstruct：基于状态空间规划的代码调试多轮对话教学

使用状态空间规划算法，动态构建问题树，通过提问来帮助学生独立识别和解决错误，解决当前LLMs直接给出答案的问题

通过构建一个150个编码问题、错误解决方案和错误修复的多错误数据集，证明了TreeInstruct在单错误和多错误数据集上的最先进表现，通过5个学生的案例研究进一步证明了TreeInstruct在实际教学中的有效性，代码和数据集已开源

与当前的大型语言模型相比，TreeInstruct通过提问来引导学生独立思考，更加符合Socratic questioning的教学理念，相关研究包括使用LLMs进行自然语言处理和对话生成的研究，以及在教育领域中使用机器学习的研究