BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

视觉-语言-动作（VLA）模型在广泛的机器人操作任务中展现出令人印象深刻的能力。然而，其不断增长的模型规模给资源受限的机器人系统部署带来了显著挑战。尽管1位预训练已被证明可以有效提升大型语言模型的推理效率，且性能损失极小，但其在VLA模型中的应用仍鲜有探索。在本研究中，我们提出了BitVLA，这是首个用于机器人操作的1位VLA模型，其中每个参数均为三值，即{-1, 0, 1}。为进一步减少视觉编码器的内存占用，我们提出了一种蒸馏感知训练策略，将全精度编码器压缩至1.58位权重。在此过程中，全精度编码器作为教师模型，用于更好地对齐潜在表示。尽管缺乏大规模的机器人预训练，BitVLA在LIBERO基准测试中实现了与最先进的4位后训练量化模型OpenVLA-OFT相当的性能，同时仅消耗后者29.8%的内存。这些结果凸显了BitVLA在内存受限边缘设备上部署的潜力。我们已在https://github.com/ustcwhy/BitVLA开源代码和模型权重。

该论文试图解决在资源受限的机器人系统中部署大规模视觉-语言-动作（VLA）模型的问题。由于VLA模型通常参数量庞大，直接部署在边缘设备上面临内存和计算能力的限制。这是一个重要但尚未完全解决的问题，尤其是在需要高效推理的机器人应用中。

论文提出了一种名为BitVLA的1-bit VLA模型，将所有参数压缩为三元值{-1, 0, 1}，从而显著降低内存占用。为了进一步优化视觉编码器的性能，作者引入了蒸馏感知训练策略，通过全精度模型作为教师模型指导低精度模型的学习，最终实现了1.58-bit权重的视觉编码器。这种方法不仅保持了与现有4-bit量化模型相当的性能，还大幅减少了内存消耗。

1. BitVLA是首个应用于机器人操作任务的1-bit VLA模型，展现了在内存受限设备上的潜力；2. 提出了蒸馏感知训练策略，有效缓解了低精度量化带来的性能损失；3. 在LIBERO基准测试中，BitVLA的表现与最先进的OpenVLA-OFT模型相当，但仅使用了其29.8%的内存；4. 论文提供了开源代码和模型权重（https://github.com/ustcwhy/BitVLA），便于后续研究和实际应用；5. 未来可以探索更大规模数据集上的预训练以及不同硬件平台上的部署效果。

近年来，关于模型压缩和高效推理的研究包括：1.《Introducing LLM.int8(): A Full System Approach to Integer Only Large Language Models》探讨了整数化大语言模型的可行性；2.《QWEN: Efficient Large Language Models with Quantization》介绍了通义千问在量化技术上的进展；3.《Low-Precision Weights and Activations for Neural Network Pruning》研究了低精度权重对神经网络剪枝的影响；4.《Distilling Knowledge in a Neural Network》奠定了知识蒸馏的基础理论。此外，针对机器人领域的研究如《OpenVLA: Vision-Language-Action Pretraining for Robotic Manipulation》提出了用于机器人操作的多模态预训练框架。