ONNXPruner: ONNX-Based General Model Pruning Adapter

2024年04月10日
  • 简介
    最近模型剪枝的进展主要集中于开发新算法和改进基准测试。然而,将这些算法实际应用于各种模型和平台仍然是一个重大挑战。为了解决这个问题,我们提出了ONNXPruner,这是一个专为ONNX格式模型设计的通用剪枝适配器。ONNXPruner简化了不同深度学习框架和硬件平台之间的适配过程。ONNXPruner的一个新颖之处在于它使用节点关联树,这些树可以自动适应各种模型架构。这些树可以澄清节点之间的结构关系,引导剪枝过程,特别是突出显示对互连节点的影响。此外,我们还引入了一种树级评估方法。通过利用节点关联树,这种方法允许进行超出传统单节点评估的全面分析,提高剪枝性能而无需额外操作。在多个模型和数据集上进行的实验证实了ONNXPruner的强大适应性和增强效果。我们的工作旨在推进模型剪枝的实际应用。
  • 图表
  • 解决问题
    提高模型修剪在不同框架和硬件平台上的适用性和效果
  • 关键思路
    提出了ONNXPruner,一种基于ONNX格式模型的修剪适配器,利用节点关联树自动适应各种模型结构,并引入了树级评估方法来增强修剪性能
  • 其它亮点
    实验结果表明ONNXPruner具有较强的适应性和效果,可在不同模型和数据集上使用,有望推进模型修剪的实际应用
  • 相关研究
    近期的相关研究包括《Learning Sparse Neural Networks through L0 Regularization》、《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》等
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论