A Declarative System for Optimizing AI Workloads

现代的AI模型提供了一个长期以来的梦想：处理几乎任何类型的数据的分析查询。直到最近，从公司文件中提取事实、从科学论文中提取数据或从图像和视频语料库中获得见解都是困难和昂贵的。今天的模型可以高精度地完成这些任务。然而，想要回答一个实质性的AI驱动的查询的程序员必须编排大量的模型、提示和数据操作。即使是一个查询，程序员也必须做出大量决策，比如模型的选择、正确的推理方法、最具成本效益的推理硬件、理想的提示设计等等。最优的决策组合随着查询的变化和技术发展的迅速变化而变化。在本文中，我们介绍了Palimpzest，这是一个系统，它使任何人都可以通过以声明性语言定义它们来处理AI驱动的分析查询。该系统使用其成本优化框架——探索AI模型、提示技术和相关基础模型优化的搜索空间——以实现具有最佳运行时间、财务成本和输出数据质量之间的平衡的查询。我们描述了AI驱动的分析任务的工作负载、Palimpzest使用的优化方法以及原型系统本身。我们在法律发现、房地产搜索和医学模式匹配等任务上评估了Palimpzest。我们展示了即使是我们简单的原型也提供了一系列吸引人的计划，包括一个比基线方法快3.3倍、便宜2.9倍，并提供更好的数据质量的计划。启用并行处理后，Palimpzest可以生成计划，相对于单线程GPT-4基线，速度提高了90.3倍，成本降低了9.1倍，同时获得了83.5%的F1分数，这些都不需要用户额外的工作。

Palimpzest论文试图解决如何处理AI-powered analytical queries的问题，通过开发一个系统使得任何人都可以使用声明性语言来处理这些查询。

Palimpzest系统使用成本优化框架来探索AI模型、提示技术和相关基础模型优化的搜索空间，以实现在运行时间、财务成本和输出数据质量之间的最佳权衡。

论文通过在法律发现、房地产搜索和医学模式匹配等任务上进行评估，展示了Palimpzest的性能。实验结果表明，即使是简单的原型系统也可以提供一系列吸引人的计划，其中一个计划比基线方法快3.3倍、便宜2.9倍，并提供更好的数据质量。使用并行计算，Palimpzest可以产生计划，相对于单线程GPT-4基线，速度提高了90.3倍，成本降低了9.1倍，同时获得的F1分数与基线相差不到83.5%。

最近在这个领域中，还有一些相关的研究，如GPT-3、GPT-4等。