Power Hungry Processing: Watts Driving the Cost of AI Deployment?

近年来，基于生成式、多用途人工智能系统的商业产品越来越受欢迎，承诺提供一种统一的方法来构建机器学习模型。然而，这种“通用性”的雄心壮志代价高昂，因为这些系统所需的能量和排放的碳量巨大。在本文中，我们提出了首个系统比较各类机器学习系统持续推理成本的方法，包括特定任务的模型（即进行单一任务的微调模型）和“通用型”模型（即为多个任务训练的模型）。我们将部署成本定义为使用这些模型在代表性基准数据集上执行1,000个推理所需的能量和碳排放量。我们发现，对于多种任务，即使控制模型参数的数量，多用途生成式体系结构的成本也比特定任务的系统高出数个数量级。我们最后讨论了部署多用途生成式机器学习系统的当前趋势，并警告说，应更加有意识地权衡它们的效用和能源排放成本。我们的研究数据可以通过交互式演示进行进一步的探索和分析。

本文试图比较不同类型的机器学习系统在推理成本方面的差异，特别是在能源和碳排放方面的差异。研究旨在提醒人们对多用途生成ML系统的成本进行更有意识的权衡。

本文的关键思路是通过比较多用途生成ML系统和任务特定系统的推理成本来评估它们的环境成本，并发现前者的成本要高得多。

本文通过测量代表性基准数据集上使用这些模型进行1000次推理所需的能量和碳排放来衡量部署成本。实验发现，对于多种任务，多用途生成架构的成本比任务特定系统高出数个数量级，即使控制模型参数的数量也是如此。本文提供了一个交互式演示来进一步探索和分析研究中的所有数据。

最近的相关研究包括“On the Energy Consumption of Convolutional Neural Networks for Object Recognition”和“Energy and Policy Considerations for Deep Learning in NLP”。