Transformer的最新进展伴随着对计算资源的巨大需求，突出了开发高效训练技术的重要性，通过有效使用计算和存储资源，使Transformer训练更快、成本更低、准确度更高。
论文链接：https://arxiv.org/pdf/2302.01107.pdf
本综述首次系统地概述了transformer的高效训练，涵盖了加速算法和硬件方面的最新进展，重点是前者。我们分析和比较了在训练期间节省中间张量计算和存储成本的方法，以及硬件/算法协同设计的技术。最后讨论了面临的挑战和未来的研究方向。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢