尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语言理解」如阅读理解和问答等任务中取得了极高的性能，但这些模型在逻辑推理方面的性能仍然十分滞后。

去年5月「思维链」（Chain of Thought, CoT）横空出世，有研究人员发现，只需要在prompt中加入「Let's think step by step」就能让GPT-3的推理性能大幅提升，比如在MultiArith中就将推理准确率从之前的17.7%一下提升到了78.7%但诸如CoT和Selection Inference等方法都是以前向（forward direction）的方式从公理（axioms）中搜索证明过程（proof）以推导出最终结论（conclusion），存在搜索空间组合爆炸的问题，因此对于较长的推理链，失败率较高。
最近，Google Research开发了一种反向链（Backward Chaining）算法LAMBADA（LAnguage Model augmented BAckwarD chAining），将经典推理文献中得出的「反向推理效率明显高于前向推理」这一结论应用于语言模型（LM）中。

论文链接：https://arxiv.org/abs/2212.13894

 

逻辑推理，特别是对非结构化自然文本的逻辑推理，是构建自动知识发现的基础构件，也是未来各种科学领域进步的关键。虽然许多NLP任务的发展都受益于预训练语言模型不断扩大的规模，但根据观察，提升模型的尺寸对解决复杂推理问题的提升十分有限。

 

在经典文献中，有两种主要的逻辑推理方法：

1、前向链式推理（Forward Chaining, FC），即从事实和规则出发，在做出新的推理并将其加入理论之间进行迭代，直到目标陈述可以被证明或推翻；
2、后向链式推理（Backward Chaining, BC），即从目标出发，将其递归分解为子目标，直到子目标可以根据事实被证明或推翻。

 

LAMBADA意为「反向链式技术增强的语言模型」，研究人员通过实验证明了BC更适合于基于文本的演绎逻辑推理（deductive logical reasoning）。LAMBADA将推理过程分解为四个子模块，每个模块都由few-shot prompted语言模型推理实现。

最终LAMBADA相比当下sota的前向推理方法在两个逻辑推理数据集上实现了显著的性能提升，特别是在问题要求深度和准确的证明链情况下，LAMBADA的性能提升更加明显。

内容中包含的图片若涉及版权问题，请及时与我们联系删除