Automated Deep Learning Optimization via DSL-Based Source Code Transformation

随着深度学习模型变得越来越大、越来越复杂，提高模型训练和推理效率至关重要。虽然已经开发了各种高度优化的库和软件包（称为DL内核），但找出要使用哪个内核、在哪里使用以及如何正确使用它们仍然是繁琐且耗时的。为了解决这一挑战，我们提出了一种自动深度学习优化方法，称为Adopter。我们设计了一种领域特定语言（DSL）来表示DL模型架构，并利用该DSL指定将DL内核集成到模型中所需的模型转换规则。给定DL模型的源代码和一组内核的转换规则，Adopter首先执行程序间分析，以识别并在我们的DSL中表达模型架构。然后，Adopter执行范围分析和子序列匹配，以识别可以应用转换规则的模型架构位置。最后，Adopter提出了一种基于综合的代码转换方法来应用转换规则。我们策划了一个基准测试，其中包括来自Hugging Face的199个模型和一个多样化的DL内核集。我们发现，与最先进的自动代码转换技术相比，Adopter可以将精确度和召回率分别提高3%和56%。对9个模型的深入分析表明，Adopter平均提高了22.7%的训练速度，同时减少了10.5%的GPU内存使用。

提高深度学习模型训练和推理效率的问题

采用自动化的深度学习优化方法，称为Adopter，通过DSL表示DL模型架构并使用模型转换规则来集成DL内核，从而提高模型训练和推理效率。

使用199个Hugging Face模型和多个DL内核进行基准测试，Adopter相对于现有自动代码转换技术提高了3％的准确率和56％的召回率。在9个模型上的深入分析表明，Adopter平均提高了22.7％的训练速度，同时减少了10.5％的GPU内存使用。

该论文没有明确列举相关研究。