Accelerated AI Inference via Dynamic Execution Methods

在本文中，我们专注于基于输入优化计算流程的动态执行技术。这一目标是识别可以使用更少资源解决的简单问题，类似于人类的认知过程。讨论的技术包括从深度网络提前退出、语言模型的推测性采样以及扩散模型的自适应步骤。实验结果表明，这些动态方法可以在不牺牲质量的前提下显著提高延迟和吞吐量。当与量化等基于模型的优化技术结合时，动态执行提供了一种强大的多方面策略来优化AI推理。 生成式AI需要大量的计算资源。预计这一需求将持续增长，从数据中心到边缘设备的资源需求也将以高速率继续增加。我们利用现有的研究成果，并为某些生成优化提供了额外的创新。对于大型语言模型（LLMs），我们提供了更高效的采样方法，这些方法依赖于数据的复杂性。对于扩散模型生成，我们提供了一种新方法，该方法还利用输入提示的难度来预测最佳的提前停止点。 因此，动态执行方法之所以重要，是因为它们增加了性能优化的另一个维度。从竞争的角度来看，性能至关重要，但增加容量可以带来显著的节能和成本节约。我们已将这些技术集成到多个英特尔性能库和Huggingface Optimum中。这些集成将使这些技术更容易使用，并提高其采用率。

该论文旨在解决生成式AI模型计算资源消耗大的问题，特别是随着需求的不断增长，对数据中心和边缘设备的资源需求持续增加。这是一个当前AI领域面临的实际问题。

论文的关键思路是通过动态执行技术优化计算流程，根据输入数据的复杂度动态调整模型的执行路径。具体方法包括深度网络的早期退出、语言模型的推测性采样和扩散模型的自适应步长。这些方法不仅提高了推理速度，还保持了输出质量，与现有的模型优化技术如量化结合使用时效果更佳。

论文展示了多种动态执行技术在不同模型上的应用效果，实验结果表明这些技术可以显著提高延迟和吞吐量。此外，论文提出了针对LLM和扩散模型的新采样方法，并且这些技术已经集成到Intel性能库和Huggingface Optimum中，便于用户使用。未来的研究可以进一步探索这些技术在更多模型和应用场景中的表现。

近期在这个领域的一些相关研究包括： 1. 'Adaptive Inference for Efficient Deep Learning' - 探索了基于输入数据的自适应推理方法。 2. 'Dynamic Early Exit in Deep Neural Networks' - 研究了深度神经网络中的动态退出机制。 3. 'Efficient Sampling Methods for Large Language Models' - 提出了针对大型语言模型的高效采样方法。 4. 'Optimizing Diffusion Models with Adaptive Steps' - 讨论了扩散模型中的自适应步长优化。