The rising costs of training frontier AI models

近年来，训练前沿AI模型的成本急剧增长，但是公开的这些费用的规模和增长率的数据有限。本文开发了一个详细的成本模型来填补这一空白，使用三种方法估算训练成本，包括硬件、能源、云租赁和人员费用。分析表明，自2016年以来，训练计算密集型模型的摊销成本每年以2.4倍的速度激增（95% CI：2.0倍至3.1倍）。对于关键的前沿模型，如GPT-4和Gemini，最重要的费用是AI加速器芯片和人员费用，每个费用都在数千万美元左右。其他显著的成本包括服务器组件（15-22％）、集群级互连（9-13％）和能源消耗（2-6％）。如果开发成本不断增长的趋势持续下去，到2027年，最大的训练运行成本将超过十亿美元，这意味着只有最资金充裕的组织才能够为前沿AI模型提供资金支持。

计算机视觉中的半监督学习：从图像注释到视频分割

论文提出了一种新的半监督学习方法，将图像注释和视频分割结合起来，通过在视频中使用注释信息来提高模型性能。

论文使用了大规模的图像和视频数据集进行实验，并且与其他半监督学习方法进行了比较。实验结果表明，该方法在不同的任务上都取得了最先进的性能。论文还开源了代码和数据集，以促进该领域的进一步研究。

最近的相关研究包括：“Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles”和“Temporal Ensembling for Semi-Supervised Learning”。