Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA

可靠的不确定性估计在各种安全关键应用中起着至关重要的作用，例如医学诊断和自动驾驶。近年来，由于其能够进行准确预测并可靠估计不确定性的能力，贝叶斯神经网络（BayesNNs）在研究和工业界引起了相当大的兴趣。然而，BayesNNs的算法复杂性和由此导致的硬件性能限制了它们在实际应用中的采用。为了弥合这一差距，本文提出了一种算法和硬件协同设计框架，可以生成用于高效BayesNNs的基于现场可编程门阵列（FPGA）的加速器。在算法层面上，我们提出了一种新颖的基于多出口的dropout BayesNNs，降低了计算和存储开销，同时实现了高精度和高质量的不确定性估计。在硬件层面上，本文引入了一个转换框架，可以为所提出的高效多出口BayesNNs生成基于FPGA的加速器。引入了几种优化技术，如空间和时间映射的混合，以减少资源消耗和提高整体硬件性能。全面的实验表明，与CPU、GPU和其他最先进的硬件实现相比，我们的方法可以实现更高的能量效率。为了支持未来的研究发展，我们已经在https://github.com/os-hxfan/MCME_FPGA_Acc.git上开源了我们的代码。

提高Bayesian神经网络的可靠性，使其能够在安全关键应用中进行可靠的不确定性估计。

提出了一种算法和硬件协同设计框架，可以生成用于高效BayesNN的FPGA加速器。在算法层面上，提出了一种新颖的基于多出口dropout的BayesNN，具有较高的准确性和不确定性估计质量。在硬件层面上，引入了一种变换框架，可以为所提出的高效多出口BayesNN生成FPGA加速器。

该方法能够实现比CPU、GPU和其他最先进的硬件实现更高的能量效率。研究人员已经将代码开源。

Bayesian神经网络的研究在近年来得到了广泛的关注，许多相关的研究正在进行中。