DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution

多模态语言模型（MLLMs）在处理复杂语言和视觉数据方面展示了卓越的理解和推理能力。这些进展激发了建立一个通用的机器人多模态语言模型的愿景，该模型能够理解复杂的人类指令并完成各种具身任务。然而，为现实世界中的机器人开发MLLMs面临挑战，因为机器人平台通常计算和内存资源有限。相比之下，MLLMs的推理过程涉及存储数十亿参数并进行大量计算，对硬件提出了很高的要求。在我们的论文中，我们提出了一种动态早期退出框架，用于机器人视觉-语言-动作模型（DeeR-VLA，简称DeeR），该框架可以根据具体情境自动调整激活的MLLM的规模。这种方法利用了MLLMs中的多出口架构，使得模型在达到特定情境所需的适当规模后即可终止处理，从而避免进一步的冗余计算。此外，我们开发了新的算法，为DeeR建立了早期终止标准，这些标准基于预定义的需求，如平均计算成本（即功耗）、峰值计算消耗（即延迟）和GPU内存使用。这些改进确保了DeeR在不同资源约束下高效运行，同时保持竞争力。在CALVIN机器人操作基准测试中，DeeR在不牺牲性能的情况下，将LLM的计算成本降低了5.2到6.5倍，GPU内存使用量降低了2到6倍。代码和检查点可在https://github.com/yueyang130/DeeR-VLA 获取。

该论文旨在解决在计算和内存资源有限的机器人平台上部署大规模语言模型（MLLMs）的问题。由于MLLMs通常需要存储数十亿参数并进行大量计算，这对硬件提出了很高的要求，而机器人平台往往无法满足这些需求。

论文提出了一种动态早期退出框架（DeeR-VLA），通过多出口架构使模型能够在处理特定任务时自动调整激活的模型大小。当达到预设的性能标准时，模型可以提前终止处理，从而避免不必要的计算。这一方法在保持性能的同时显著降低了计算成本和内存使用。

1. DeeR-VLA在CALVIN机器人操作基准上展示了显著的性能提升，计算成本降低5.2-6.5倍，GPU内存使用减少2-6倍。 2. 论文提出了新的算法来确定早期终止条件，这些条件可以根据平均计算成本、峰值计算消耗和GPU内存使用进行调整。 3. 代码和检查点已开源，可在GitHub上获取：https://github.com/yueyang130/DeeR-VLA。 4. 该方法为未来的研究提供了方向，特别是在如何进一步优化资源受限环境下的模型性能方面。

1. "Adaptive Computation Time for Transformer" - 这篇论文探讨了如何在Transformer模型中动态调整计算时间，以提高效率。 2. "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" - 该研究提出了通过不同维度对卷积神经网络进行缩放的方法，以提高效率。 3. "Dynamic Network Surgery for Efficient DNNs" - 这篇论文介绍了如何通过动态网络手术技术减少深度神经网络的计算量。 4. "Latency-Aware Adaptive Inference for Real-Time Mobile Vision" - 该研究关注如何在移动设备上实现低延迟的自适应推理。