SymbolicAI: A framework for logic-based approaches combining generative models and solvers

我们介绍了SymbolicAI，这是一个多功能、模块化的框架，采用基于逻辑的方法进行概念学习和生成过程中的流程管理。SymbolicAI通过将大型语言模型(LLMs)视为语义解析器来执行基于自然语言和形式语言的任务，从而将符号推理和生成AI之间的差距缩小，使生成模型与各种求解器无缝集成。我们利用概率编程原理来解决复杂任务，并利用不同的可微分和经典编程范式及其各自的优点。该框架引入了一组多态、组合和自引用操作，用于连接多步生成过程，并将它们的输出与用户目标在复杂的工作流程中对齐。因此，我们可以在上下文学习能力和专门针对特定问题的精细调整模型或求解器之间进行转换。通过基于上下文学习的这些操作，我们的框架实现了可解释的计算图的创建和评估。最后，我们介绍了一种质量度量及其经验得分，用于评估这些计算图，并提出了一个基准，比较各种最先进的LLMs在一组复杂的工作流程中的表现。我们将经验得分称为“跨相似性关系轨迹评估的向量嵌入”，简称VERTEX得分。该框架代码库和基准测试如下链接。

SymbolicAI框架旨在通过将大型语言模型作为语义解析器，将符号推理与生成AI相结合，实现概念学习和流程管理的逻辑方法。该论文旨在解决如何无缝集成生成模型与各种求解器的问题，以及如何在复杂工作流中将它们的输出与用户目标对齐的问题。

SymbolicAI框架利用概率编程原则解决复杂任务，同时利用可微分和经典编程范例及其各自的优势。该框架引入了一组多态的、组合的、自引用的多模态数据操作，连接多步生成过程，并将它们的输出与用户目标对齐，从而实现了各种基础模型的能力转换。

该框架还引入了一种质量度量及其经验分数，用于评估计算图的质量，提出了一个基准，比较各种最先进的大型语言模型在一组复杂工作流中的表现。该框架的代码库和基准测试已经开源。

在这个领域中，最近的相关研究包括：《Large-Scale Language Model Compression》、《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。