Reasoning in Transformers - Mitigating Spurious Correlations and Reasoning Shortcuts

Transformer语言模型是用于处理自然语言的神经网络，包括一些需要逻辑推理的任务。然而，Transformer模型可能会在数据中轻易地学习到虚假模式，从而绕过实际推理。在本文中，我们研究了Transformer在训练时在逼近命题逻辑推理和避免已知推理捷径方面的能力。为此，我们使用了一个数据集，其中包含真实性和问题规则数量等之间已知的虚假相关性。我们使用证明来增加数据，并训练了两个模型：一个是基于问题和其完整证明的生成式Transformer WP-BART，另一个是基于单个证明步骤的神经符号模型SIP-BART，它将生成式Transformer模型BART与符号证明检查器结合起来。我们发现，SIP-BART成功避免了推理捷径，而WP-BART没有。对于SIP-BART，我们还发现了一些以前没有描述过的推理错误，这些错误是由于使用预训练语言模型引起的。我们对这些错误进行了定性分析，创建了四种不同类型的附加陷阱分类法。

本论文旨在探讨Transformer模型在逻辑推理中的应用，并解决数据中的谬误关联问题。

论文提出了一种基于符号推理和生成式Transformer模型相结合的方法，能够避免模型学习到数据中的谬误关联。

论文使用了一个包含谬误关联的数据集，并通过证明来增强数据。作者提出的SIP-BART模型能够避免谬误关联，而WP-BART模型则不能。作者还发现了一些使用预训练语言模型可能导致的推理错误类型，并进行了分类分析。

近期的相关研究包括：《BERT在逻辑推理中的应用》、《基于图形的神经网络模型在逻辑推理中的应用》等。