A Blueprint Architecture of Compound AI Systems for Enterprise

大型语言模型（LLMs）展示了超越传统自然语言处理挑战的显著能力，创造了在生产应用案例中使用的机会。为了实现这一目标，人们开始构建复合人工智能系统，其中LLMs被集成到一个包含多个组件（如模型、检索器、数据库和工具）的广泛软件基础架构中。在本文中，我们介绍了一个复合人工智能系统的蓝图架构，以便在企业环境中以经济和可行的方式运行。我们提出的架构旨在与现有的计算和数据基础架构无缝集成，其中“流”作为关键的编配概念，以协调代理和其他组件之间的数据和指令。任务和数据计划分别将任务和数据分解、映射和优化到在各自注册表中定义的可用代理和数据源中，考虑到生产约束，如准确性和延迟。

论文介绍了一种蓝图架构，用于在企业环境中成本效益和可行性地操作复合AI系统。

论文提出了一种以“流”为核心编排概念的架构，用于协调数据和指令，以在现有的计算和数据基础设施中实现无缝集成。

论文设计了任务和数据计划程序，以将任务和数据映射到相应的代理和数据源，考虑到生产约束条件，如准确性和延迟。值得注意的是，论文还提出了一个复合AI系统的蓝图架构，该架构可以在企业环境中实现成本效益和可行性。

最近的相关研究包括：《Large-Scale Machine Learning with Stochastic Gradient Descent》、《Efficient Estimation of Word Representations in Vector Space》、《Attention is All You Need》等。