Multi-step Inference over Unstructured Data

大型语言模型（LLMs）和生成式人工智能的出现，彻底改变了各个领域的自然语言应用。然而，在医疗、法律和金融等领域中，高风险的决策任务需要一定的精确性、全面性和逻辑一致性，而纯粹的LLM或检索增强生成（RAG）方法常常无法满足这些要求。在Elemental Cognition（EC），我们开发了一种神经符号AI平台来解决这些问题。该平台将经过微调的LLMs用于知识提取和对齐，并与强大的符号推理引擎集成，用于逻辑推理、规划和交互式约束求解。我们描述了一个基于这个平台构建的协作研究助手Cora，旨在在高风险领域执行复杂的研究和发现任务。本文讨论了这些领域固有的多步推理挑战，批评了现有基于LLM的方法的局限性，并展示了Cora的神经符号方法如何有效地解决这些问题。我们提供了系统架构的概述、知识提取和形式推理的关键算法，并呈现了初步评估结果，突出了Cora相对于知名的LLM和RAG基线的优越性能。

本文旨在解决高风险决策领域中需要精准、全面和逻辑一致性的问题，针对现有的LLM和RAG方法的局限性，提出了一种神经符号AI平台来解决这些问题。

该平台将LLMs和符号推理引擎相结合，旨在实现知识提取、对齐、逻辑推理、规划和交互式约束求解等多步推理挑战。

该论文介绍了Cora，一个基于该平台构建的协作研究助手，用于高风险领域中的复杂研究和发现任务。该论文还介绍了系统架构、知识提取和形式推理的关键算法，并提供了初步的评估结果，证明了Cora相对于LLM和RAG基线的优越性能。

最近在这个领域中，还有一些相关的研究，如《Large-Scale Pretraining for Neural Machine Translation》、《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》等。