Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB

知识密集型分析应用通过从结构化表格数据和非结构化、无文本的文档中提取上下文信息，以支持有效的决策制定。大规模语言模型（LLMs）显著简化了此类检索与推理数据管道的原型设计过程。然而，高效实现这些数据管道仍然需要大量努力，并面临若干挑战。这通常涉及协调异构数据系统、管理数据移动以及处理低级别的实现细节，例如 LLM 上下文管理。 为了解决这些问题，我们提出了 FlockMTL：一个针对数据库管理系统（DBMS）的扩展，它深度集成了 LLM 能力和检索增强生成（RAG）。FlockMTL 包含基于模型的标量函数和聚合函数，能够通过元组级别的映射和归约实现链式预测。受关系模型的启发，FlockMTL 引入了以下特性：(i) 基于成本的优化，能够无缝应用诸如批处理和缓存等技术；以及 (ii) 资源独立性，通过新颖的 SQL DDL 抽象实现，即 PROMPT 和 MODEL，它们作为一级模式对象与 TABLE 并列引入。 FlockMTL 简化了知识密集型分析应用的开发过程，其优化功能减轻了实现过程中的负担。

论文试图解决知识密集型分析应用开发中的效率和复杂性问题，具体包括异构数据系统的编排、数据移动管理以及低级实现细节（如LLM上下文管理）等挑战。这是一个在大规模语言模型应用背景下的新问题，强调了将LLM与数据库系统深度集成的需求。

论文提出了一种名为FlockMTL的DBMS扩展，它通过将LLM能力与检索增强生成（RAG）技术深度整合来解决上述问题。关键创新点在于引入了PROMPT和MODEL作为SQL DDL的第一类模式对象，并结合成本优化技术（如批处理和缓存）以及资源独立性设计，从而简化知识密集型应用的开发流程。相比现有研究，FlockMTL更深入地将LLM功能嵌入到数据库操作中，支持链式预测和元组级映射。

1. 提出了PROMPT和MODEL作为第一类SQL对象，增强了数据库对LLM任务的支持；2. 实现了基于成本的优化（如批处理和缓存），提高了查询效率；3. 论文未明确提及实验设计或数据集，但强调了FlockMTL在实际场景中的适用性；4. 开源状态未提及，但未来工作可能涉及更多实际部署案例及性能评估；5. 值得继续研究的方向包括进一步优化LLM与数据库交互的成本模型，以及扩展支持更多类型的非结构化数据。

最近的相关研究包括：1. 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'，探讨了RAG技术在NLP任务中的应用；2. 'Language Models as Relational Co-processors'，研究了如何将LLM用作关系数据库的辅助处理器；3. 'Optimizing Large Language Model Inference in Database Systems'，关注了在数据库系统中优化LLM推理的技术；4. 'Prompt Engineering for Structured Data Processing'，讨论了针对结构化数据处理的提示工程方法。