Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models

尽管大型语言模型（LLMs）具有出色的能力，但由于其庞大的体积，它们面临着部署挑战。修剪方法可以删除一部分权重以加速，但其中许多方法需要重新训练，这是代价高昂且计算要求高的。最近，后训练修剪方法引入了新颖的度量标准，使得可以在不重新训练的情况下修剪LLMs。然而，这些度量标准需要人类专家的参与和繁琐的试错。为了有效地识别出优秀的修剪度量标准，我们开发了一个自动框架，使用遗传编程搜索符号修剪度量标准。具体而言，我们设计了一个复杂的搜索空间，包括现有的修剪度量标准，以发现潜在的符号修剪度量标准。我们提出了一种对立操作简化策略，以增加种群的多样性。这样，Pruner-Zero可以自动生成符号修剪度量标准。基于搜索结果，我们探索了修剪度量标准和修剪后性能之间的相关性，并总结了一些原则。在LLaMA和LLaMA-2上进行的广泛实验，包括语言建模和零-shot任务，证明了我们的Pruner-Zero比SOTA后训练修剪方法具有更优异的性能。代码可在\url{https://github.com/pprp/Pruner-Zero}上找到。

解决LLMs模型剪枝时需要重新训练的问题，提出一种自动搜索符号剪枝度量的框架

使用遗传编程自动生成符号剪枝度量，避免人工试错，不需要重新训练模型即可进行剪枝

提出了Pruner-Zero框架，使用遗传编程自动生成符号剪枝度量，不需要人工试错，实验结果表明该方法优于当前最先进的后训练剪枝方法，代码已开源

近期相关研究包括《Post-Training Quantization》、《Structured Pruning of Large Language Models》等