Leveraging the true depth of LLMs

大型语言模型展示了卓越的能力，但其计算需求非常高。虽然最近的研究表明，中间层可以被移除或顺序被打乱而不显著影响性能，但这些发现尚未被用于减少推理的计算成本。我们研究了几种在不显著影响性能的情况下减少预训练大型语言模型深度的潜在方法。基于我们的见解，我们提出了一种新颖的方法，通过将某些层配对并行评估来利用这些层之间的解耦。 这种通过对计算图的修改——即通过更好的并行性——使得每秒生成的令牌数量平均提高了约1.20倍，且无需重新训练或微调，同时保留了95%-99%的原始准确性。实证评估表明，这种方法显著提高了服务效率，同时保持了模型性能，为大规模部署大型语言模型提供了实际改进。

该论文试图解决大型语言模型（LLM）在推理过程中计算成本过高的问题。具体来说，它探索了如何减少预训练LLM的层数而不显著影响性能，从而提高推理效率。这并不是一个全新的问题，但之前的研究尚未充分利用层间解耦的可能性来优化推理速度。

关键思路是通过重新组织模型的中间层，将某些层配对并行处理，以提高计算效率。这种方法利用了层之间的松散耦合特性，使得可以在不重新训练或微调模型的情况下，显著提升推理速度。相比现有研究，这种并行化策略为优化LLM推理提供了一种新颖且直接的方法。

论文的主要亮点包括：1) 提出了一个新的方法来改进LLM的推理效率，而不需要额外的训练；2) 实验结果表明，这种方法可以平均提高1.20倍的每秒生成令牌数，同时保持95%-99%的原始准确率；3) 研究强调了更好的并行化能够有效减少计算资源的消耗；4) 没有提到具体的实验数据集或开源代码，但指出了未来值得深入研究的方向，如进一步优化层配置和扩展到其他类型的神经网络架构。

最近在这个领域内的相关研究还包括：1) 'Pruning Neural Networks Without Any Data by Iteratively Conserving Synaptic Flow' 探讨了无数据剪枝技术；2) 'LayerDrop: A Simple and Effective Approach for Building Lighter Models' 提出了一种简单的轻量化模型构建方法；3) 'The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks' 阐述了彩票假设理论。这些研究都致力于提高模型效率，但本论文的独特之处在于它专注于推理阶段的优化而非训练过程。