OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models

近年来，大规模自回归模型在文本或视频生成等各种任务中取得了显著进展。然而，这些模型的环境影响往往被忽视，缺乏对其碳足迹的评估和分析。为了解决这一问题，我们引入了OpenCarbonEval，这是一个统一的框架，可以将各种模态的大规模模型集成起来，以预测碳排放量，为AI服务提供商和用户提供一种在使用这些模型之前估计排放量的手段，有助于缓解与这些模型相关的环境压力。在OpenCarbonEval中，我们提出了一种动态吞吐量建模方法，可以捕捉训练过程中的工作负载和硬件波动，以更精确地估计排放量。我们的评估结果表明，OpenCarbonEval可以比以前的方法更准确地预测训练排放量，并且可以无缝地应用于不同的模态任务。具体来说，我们展示了OpenCarbonEval在预测视觉模型和语言模型的碳排放方面具有优越的性能。通过促进可持续的AI开发和部署，OpenCarbonEval可以帮助减少大规模模型的环境影响，为AI社区的环境责任做出贡献。

本论文旨在解决大规模自回归模型在各种任务中取得显著进展的同时，其对环境的影响问题被忽视的情况，提出了OpenCarbonEval框架，以预测碳排放量，并为AI服务提供商和用户提供在模型使用前进行估算并帮助减轻与这些模型相关的环境压力的手段。

OpenCarbonEval提出了一种动态吞吐量建模方法，可以捕捉训练过程中的工作负载和硬件波动，以更精确地估计排放量。该方法在预测训练排放量方面比以前的方法更准确，并且可以无缝地应用于不同的模态任务。

本文提出了OpenCarbonEval框架，可以估算大规模自回归模型的碳排放量，为可持续的AI开发和部署做出贡献。实验结果表明，OpenCarbonEval可以更准确地预测训练排放量，并且在预测视觉模型和语言模型的碳排放量方面表现出优越性。

与本文相关的研究包括：《CarbonTracker：减轻深度学习的碳足迹》、《Towards Environmentally Sustainable AI: An Overview》等。