FBPT: A Fully Binary Point Transformer

本文提出了一种新颖的全二进制点云Transformer（FBPT）模型，该模型具有在机器人和移动设备领域广泛应用和扩展的潜力。通过将32位全精度网络的权重和激活压缩为1位二进制值，与全精度点云网络相比，所提出的二进制点云Transformer网络显著减少了神经网络模型在点云处理任务中的存储占用和计算资源需求。然而，实现全二进制点云Transformer网络，其中除了特定于任务的模块外，所有部分都是二进制的，会在注意力模块中量化Q、K、V和自注意力时面临挑战和瓶颈，因为它们不遵循简单的概率分布并且可以随着输入数据而变化。此外，在我们的网络中，由于softmax操作后发生的均匀分布，二进制注意力模块经历了自注意力模块的退化。本文的主要重点是解决使用二进制点云Transformer模块引起的性能下降问题。我们提出了一种称为动态静态混合的新型二值化机制。具体而言，我们的方法将整个网络模型的静态二值化与数据敏感组件的细粒度动态二值化相结合。此外，我们利用一种新颖的分层训练方案来获得最优的模型和二值化参数。这些改进使得所提出的二值化方法在点云Transformer结构中使用时优于应用于卷积神经网络的二值化方法。为了证明我们算法的优越性，我们在两个不同的任务上进行了实验：点云分类和地点识别。

本论文旨在解决点云处理任务中神经网络模型的存储空间和计算资源需求较高的问题，提出了一种全二进制点云Transformer模型的解决方案。

论文提出了一种名为动态静态混合的二值化机制，通过静态二值化整体网络模型和动态二值化数据敏感组件相结合的方法，解决了二值化模块导致的性能下降问题。同时，采用了新颖的分层训练策略来获得最优的模型和二值化参数。

论文的实验在点云分类和位置识别两个任务上进行，结果表明，该二值化方法在点云Transformer结构中的表现优于卷积神经网络的二值化方法。论文使用了开源数据集，并提供了代码。

最近的相关研究包括《Towards Accurate Binary Convolutional Neural Network》和《Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1》。