作者：Dheeru Dua, Shivanshu Gupta, Sameer Singh,等

简介：回答需要做出潜在决策的复杂问题是一项具有挑战性的任务，尤其是在监督有限的情况下。最近的工作利用大型语言模型 (LM) 的功能，通过演示如何在单次解决复杂问题的同时输出中间合理化，在少数情况下执行复杂的问题回答。作者引入了“连续提示”~将一个复杂的任务迭代地分解成一个简单的任务，解决它，然后重复这个过程，直到得到最终的解决方案。连续提示将分解复杂问题的监督与回答简单问题的监督解耦，允许我们：

(1) 在每个推理步骤中有多个机会查询上下文中的示例 ;

(2) 将问题分解与问题回答分开学习，包括使用合成数据，

(3) 使用定制（微调）组件进行推理步骤大型 LM 表现不佳的地方。中间监督通常是手动编写的，收集起来可能很昂贵。

作者介绍了一种生成合成数据集的方法，该数据集可用于引导模型分解和回答中间问题的能力。与具有相同监督的最先进模型相比，作者最好的模型（具有连续提示）在 DROP 数据集的少数版本上实现了约 5% 的绝对 F1 改进。  

论文下载：https://arxiv.org/pdf/2212.04092.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除