Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study

在这项工作中，我们系统地研究了LLaMA系列语言模型内动态激活机制的有效性。尽管动态激活方法在使用ReLU激活函数的模型中有减少计算和提高速度的潜力，但我们的实证发现揭示了当前动态激活方案中存在的几个固有缺陷。通过对各种动态激活策略进行广泛实验，我们证明LLaMA模型通常在与其ReLU对应模型相比时表现不佳，特别是在需要高稀疏比率的情况下。我们将这些缺陷归因于以下几个因素的结合：1）动态预测激活头和神经元的固有复杂性；2）激活函数导致的不充分稀疏；3）KV缓存跳过导致的信息不充分保留。我们的分析不仅揭示了大规模LLaMA模型中动态激活的局限性，而且提出了增强未来稀疏方案设计的路线图。

研究LLaMA语言模型中动态激活机制的有效性，探讨如何在减少计算量和提高速度的同时保持模型性能。

通过对不同动态激活策略的实验研究，发现LLaMA模型通常表现不如使用ReLU激活函数的模型，在需要高稀疏度的场景下表现尤其不佳。这是由于动态预测激活头和神经元的困难、激活函数导致的不充分稀疏性以及KV缓存跳过导致信息不充分等因素的综合作用。

论文设计了大量实验，探究了不同的动态激活策略，并提出了改进未来稀疏度方案的路线图。值得关注的是，论文揭示了动态激活在大规模LLaMA模型中的局限性，并提出了一些有价值的启示。

最近的相关研究包括《Deep ReLU Networks With Thresholded Linear Units》、《Dynamic Sparse Graph for Efficient Deep Learning》等。