ASMR: Activation-sharing Multi-resolution Coordinate Networks For Efficient Inference

2024年05月20日
  • 简介
    协调网络或隐式神经表示(INR)是一种快速发展的方法,用于以紧凑的神经表示编码自然信号(如图像和视频)。虽然已经提出了许多方法来增加INR的编码能力,但常常被忽视的一个方面是推理效率,通常用乘加(MAC)计数来衡量。这在硬件限制严重限制推理吞吐量的用例中尤其关键。为此,我们提出了激活共享多分辨率(ASMR)坐标网络,它将多分辨率坐标分解与分层调制相结合。具体而言,ASMR模型可以在数据网格之间共享激活。这在很大程度上将其推理成本与其深度分离,其深度直接与其重建能力相关,并且无论层数如何,都可以实现接近O(1)的推理复杂度。实验表明,ASMR可以将香草SIREN模型的MAC减少多达500倍,同时实现比其SIREN基线更高的重建质量。
  • 图表
  • 解决问题
    提高隐式神经表示编码的推理效率
  • 关键思路
    使用Activation-Sharing Multi-Resolution(ASMR)坐标网络,实现跨数据格的激活共享,将推理复杂度降至O(1)
  • 其它亮点
    ASMR模型可以将基准SIREN模型的MAC降低多达500倍,同时实现比SIREN基准更高的重建质量。
  • 相关研究
    当前还没有太多关于将推理效率与INR编码能力结合的研究,但是已有一些关于INR编码的研究,例如SIREN模型。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论