当前，PyTorch、TensorFlow 等机器学习框架已经成为了人们开发的重要工具。计算反向传播、贝叶斯推理、不确定性量化和概率编程等算法的梯度时，我们需要把所有的代码以微分型写入框架内。这对于将机器学习引入新领域带来了问题：在物理模拟、游戏引擎、气候模型中，原领域组件不是由机器学习框架的特定领域语言（DSL）编写的。因此在将机器学习引入科学计算时，重写需求成为了一个挑战。
为了方便开发者，来自 MIT 的研究者开源了 Enzyme，一种用于 LLVM 编译器框架的高性能自动微分（AD）编译器插件。该插件能够合成以 LLVM 中间表示（IR）表示的静态可分析程序的梯度。Enzyme 能够合成任何以面向 LLVM IR 编译器为语言编写的程序的梯度，包括 C、C ++、Fortran、Julia、Rust、Swift、MLIR 等，从而提供这些语言的本机 AD 功能。
据作者介绍，与传统的源到源和 operator-overloading 工具不同，Enzyme 在优化的 IR 上执行 AD。在包括微软 ADBench 在内的以机器学习为重点的基准套件上，经过优化的 IR 上的 AD 的几何平均速度比未经过优化的 IR 上 AD 的几何平均速度提高了 4.5 倍，这使得 Enzyme 达到了最高的性能。
此外，Enzyme 方便使用，在 PyTorch 和 TensorFlow 上都有程序包，可让开发者便捷访问具有最新性能的外来代码梯度，从而使外来代码可直接合并到现有的机器学习工作流程中。
- 论文标题：Instead of Rewriting Foreign Code for Machine Learning, Automatically Synthesize Fast Gradient
- 论文链接：https://arxiv.org/abs/2010.01709
- 项目网页：https://enzyme.mit.edu/
- 项目地址：https://github.com/wsmoses/Enzyme
感兴趣的可以戳链接。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢