A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks

近年来，强化学习（RL）领域出现了一种趋势，即通过序列建模在大规模数据集上离线训练大型动作模型。现有的模型主要基于Transformer架构，这导致了强大代理的产生。然而，由于推理速度较慢，基于Transformer的方法在实时应用中并不实用，例如机器人技术。最近，提出了一些现代递归架构，如xLSTM和Mamba，这些架构在训练过程中表现出与Transformer架构类似的并行化优势，同时提供了快速推理。在这项工作中，我们研究了这些现代递归架构在大型动作模型中的适用性。因此，我们提出了一种以xLSTM为核心的大规模递归动作模型（LRAM），该模型具有线性时间推理复杂度和自然的序列长度外推能力。在来自6个领域的432个任务上的实验表明，LRAM在性能和速度方面与Transformer相当。

该论文试图解决在强化学习领域中，大型动作模型在实际应用（如机器人技术）中的实时性能问题。现有的基于Transformer的模型虽然强大，但其缓慢的推理时间限制了它们在需要快速响应的应用中的实用性。

论文的关键思路是利用现代循环架构（如xLSTM和Mamba）的优势，这些架构在训练时具有类似于Transformer的并行化优势，同时提供更快的推理速度。因此，提出了一种名为Large Recurrent Action Model (LRAM)的模型，该模型以xLSTM为核心，具有线性时间推理复杂度和自然的序列长度外推能力。

论文通过在6个不同领域的432个任务上的实验，展示了LRAM在性能和速度上与Transformer相当甚至更优。此外，LRAM的设计使其更适合于实时应用。论文没有提及是否有开源代码，但指出了该模型在多个任务上的广泛适用性和潜在的进一步研究方向。

最近在这个领域中，还有一些相关的研究，例如： 1. 'Transformers for Reinforcement Learning: A Survey' - 讨论了Transformer在强化学习中的应用。 2. 'Mamba: Fast and Efficient Sequence Modeling' - 介绍了Mamba架构及其在序列建模中的优势。 3. 'xLSTM: Parallelizable Recurrent Neural Networks' - 描述了xLSTM架构及其并行化特性。 4. 'Real-Time Reinforcement Learning' - 探讨了实时强化学习的各种方法和技术。