A Logical Pattern Memory Pre-trained Model for Entailment Tree Generation

生成连贯和可信解释仍然是人工智能领域中的一个重大挑战。近年来，研究人员深入探讨了使用蕴含树来描述解释的方法，这展示了一个推理过程，即如何从支持的事实中推导出假设。然而，现有模型经常忽视从给定事实中生成具有逻辑一致性的中间结论的重要性，导致不准确的结论并削弱了蕴含树的整体可信度。为了解决这个限制，我们提出了逻辑模式记忆预训练模型（LMPM）。LMPM采用外部记忆结构来学习和存储逻辑模式的潜在表示，这有助于生成逻辑一致的结论。此外，为了减轻基于维基百科数据的逻辑无关领域知识的影响，我们引入了实体抽象方法来构建预训练LMPM的数据集。实验结果突出了我们的方法在提高蕴含树生成质量方面的有效性。通过利用逻辑蕴含模式，我们的模型产生了更连贯和合理的结论，这些结论与基本前提密切相关。代码和数据可在https://github.com/YuanLi95/T5-LMPM上获得。

论文旨在解决生成解释时忽视中间结论的逻辑一致性所导致的不准确结论的问题。这是一个新问题。

论文提出了一种预训练模型LMPM，它利用外部记忆结构学习和存储逻辑模式的潜在表示，有助于生成逻辑一致的结论。

论文使用实体抽象方法构建数据集进行预训练，以减轻Wikipedia数据中逻辑无关领域知识的影响。实验结果表明，LMPM可以提高生成蕴含树的质量，生成更加连贯和合理的结论。论文提供了代码和数据，并值得进一步研究。

在这个领域中的相关研究包括：1.《Generating Natural Language Explanations for Visual Question Answering using Scene Graphs》；2.《Neural Module Networks for Reasoning over Text》；3.《Learning to Explain: Datasets and Models for Identifying Valid Reasoning Chains in Multihop Question-Answering》。