SymbolicAI: A framework for logic-based approaches combining generative models and solvers

我们介绍了SymbolicAI，这是一个多功能模块化框架，采用基于逻辑的方法进行概念学习和生成过程中的流程管理。SymbolicAI通过将大型语言模型（LLMs）视为语义解析器，执行基于自然语言和形式语言指令的任务，从而将符号推理和生成AI之间的鸿沟连接起来，从而使生成模型与各种求解器无缝集成。我们利用概率编程原理来解决复杂任务，并利用可微分和经典编程范例及其各自的优势。该框架引入了一组多态、组合和自引用的操作，用于多模态数据，将多步生成过程连接起来，并将它们的输出与用户目标在复杂的工作流程中对齐。因此，我们可以在上下文学习能力和专业的、精细调整的模型或求解器之间进行转换，以满足特定问题的需求。通过基于上下文学习的这些操作，我们的框架使得可以创建和评估可解释的计算图。最后，我们介绍了一个质量度量及其经验分数，用于评估这些计算图，并提出了一个基准，比较各种最先进的LLMs在一组复杂的工作流中的表现。我们将经验分数称为“通过交叉相似性的关系轨迹评估的向量嵌入”，简称VERTEX分数。该框架的代码库和基准测试如下链接所示。

SymbolicAI框架旨在通过将大型语言模型（LLMs）视为语义解析器，执行基于自然语言和形式语言指令的任务，从而弥合符号推理和生成AI之间的差距，实现概念学习和流程管理的逻辑方法。该框架旨在解决如何将多种基础模型的能力与上下文学习能力相结合，以及如何在复杂的工作流程中将它们的输出与用户目标对齐的问题。

SymbolicAI框架采用了多种编程范式，包括概率编程和可微分编程，引入了一组多态、组合和自引用操作，用于连接多步生成过程，并在复杂的工作流程中将它们的输出与用户目标对齐。通过这些基于上下文学习的操作，该框架使得可以创建和评估可解释的计算图。

该论文提出了一个新的框架，用于将多种基础模型的能力与上下文学习能力相结合，并在复杂的工作流程中将它们的输出与用户目标对齐。该框架还介绍了一种质量度量和其经验分数，用于评估这些计算图，以及一个比较各种最先进的LLMs在一组复杂工作流中的基准。该论文的实验使用了多个数据集，并提供了开源代码。

最近的相关研究包括《GPT-3》、《Turing-NLG》、《GShard》等。