A Declarative System for Optimizing AI Workloads

数据管理系统长期以来的目标是建立一种可以以成本效益的方式计算大量非结构化数据的定量分析系统。直到最近，从公司文件中提取事实、从科学论文中提取数据或从图像和视频数据中提取指标都是困难且昂贵的。如今的模型可以高精度地完成这些任务。然而，想要回答一个实质性的AI驱动查询的程序员必须协调大量的模型、提示和数据操作。即使是一个单一的查询，程序员也必须做出大量的决策，例如模型的选择、正确的推理方法、最具成本效益的推理硬件、理想的提示设计等等。最佳决策集可能会随着查询的变化和技术发展的快速变化而改变。本文介绍了Palimpzest，这是一个系统，它使任何人都能够通过定义声明性语言来处理AI驱动的分析查询。该系统使用其成本优化框架来实现具有最佳运行时间、财务成本和输出数据质量之间的权衡的查询计划。我们描述了AI驱动的分析任务的工作负载、Palimpzest使用的优化方法以及原型系统本身。我们在法律发现、房地产搜索和医学模式匹配等任务上评估了Palimpzest。我们展示了即使是我们简单的原型也提供了一系列吸引人的计划，包括一种比基线方法快3.3倍、成本更低2.9倍，同时还提供更好的数据质量。启用并行处理后，Palimpzest可以生成具有高达90.3倍加速和相对于单线程GPT-4基线低9.1倍成本的计划，同时获得F1分数在基线的83.5%之内。这些都不需要用户额外的工作。

实现一个系统，使得任何人都可以通过声明式语言处理基于人工智能的分析查询，同时使用成本优化框架实现最佳的运行时间、财务成本和输出数据质量之间的权衡。

使用声明式语言定义基于人工智能的分析查询，然后使用成本优化框架自动选择最佳的模型、推理方法、硬件和提示设计等，从而实现最佳的运行时间、财务成本和输出数据质量之间的权衡。

通过在法律发现、房地产搜索和医疗模式匹配等任务上的实验评估Palimpzest系统，发现即使是简单的原型也能提供一系列吸引人的计划，其中一个计划比基线方法快3.3倍，便宜2.9倍，同时还提供更好的数据质量。启用并行处理后，Palimpzest可以生成计划，相对于单线程GPT-4基线，速度提高了90.3倍，成本降低了9.1倍，同时获得的F1得分在基线的83.5%以内。

与本论文相关的研究包括但不限于：《GPT-3: Language Models are Few-Shot Learners》、《Scaling Laws for Neural Language Models》、《The Curious Case of Neural Text Degeneration》等。