xTern: Energy-Efficient Ternary Neural Network Inference on RISC-V-Based Edge Systems

本文介绍了一种名为xTern的轻量级扩展RISC-V指令集架构的方法，旨在加速三值神经网络（TNN）在通用核心上的推断，以实现更优秀的精度-能耗平衡。通过xTern扩展，我们开发了一组优化内核，实现的吞吐量比其2位等效物高出67％，而能耗仅略微增加了5.2％，从而提高了57.1％的能效。我们证明了xTern扩展的提出，集成到八核计算集群中，只增加了0.9％的硅面积开销，对时序没有影响。在端到端基准测试中，我们证明xTern可以使TNNs在相同推断延迟下实现比2位网络高1.6个百分点的CIFAR-10分类精度。我们的结果表明，xTern使得基于RISC-V的超低功耗边缘AI平台可以从TNNs的效率潜力中受益。

xTern试图解决TNNs需要专用加速器才能实现其效率潜力的问题，限制了其广泛采用的问题。

xTern是一个轻量级的RISC-V指令集架构扩展，旨在加速通用核上的TNN推断，通过优化内核，实现了比其2位等效物高67%的吞吐量，同时仅略微增加5.2%的功耗，从而实现了57.1%的能源效率提高。

论文通过在八核计算集群中集成xTern扩展，证明其只带来了0.9%的硅面积开销，没有对时序产生影响。在端到端基准测试中，论文证明了xTern使得TNNs能够实现比2位网络更高的CIFAR-10分类准确度。

最近的相关研究集中在二进制神经网络（BNNs）和TNNs之间的比较，如《XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks》和《Ternary weight networks》。