图片

尽管近年来深度学习取得了巨大进展，但训练神经网络所带来的爆炸式经济和环境成本正变得不可持续。为了解决这个问题，已经有大量关于算法高效深度学习的研究，这些研究旨在通过改变训练程序的语义，而不是在硬件或实现级别上降低训练成本。本文对该领域的研究进行了系统、全面的综述。首先，我们将算法加速问题形式化，然后我们使用算法高效训练的基本构建块来开发分类。我们的分类强调了看似不同的方法的共性，并揭示了当前的研究差距。接下来，我们将介绍评估最佳实践，以实现对加速技术的全面、公平和可靠的比较。为进一步帮助研究和应用，讨论了训练管道中的常见瓶颈(通过实验说明)，并为它们提供分类缓解策略。最后，我们强调了一些尚未解决的研究挑战，并提出了有希望的未来方向。

 

论文链接：https://arxiv.org/abs/2210.06640

内容中包含的图片若涉及版权问题，请及时与我们联系删除