Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces

决策Transformer是一种有前途的方法，它将Transformer架构应用于强化学习，依赖因果自注意力来建模状态、动作和奖励的序列。虽然这种方法已经显示出竞争性的结果，但本文研究了将Mamba框架集成到决策Transformer架构中的可能性，Mamba框架以其高效和有效的序列建模能力而闻名，重点关注在顺序决策任务中潜在的性能提升。我们通过在各种决策环境中进行一系列实验，比较修改后的决策Transformer和决策Mamba与其传统对应物之间的差异，系统地评估了这种集成。这项工作为顺序决策模型的进步做出了贡献，表明神经网络的架构和训练方法可以显着影响它们在复杂任务中的性能，并凸显了Mamba作为一种有价值的工具，可以提高Transformer-based模型在强化学习场景中的有效性。

本论文旨在探究将Mamba框架整合到Decision Transformer架构中的可能性，以提高在序列决策任务中的性能表现。

论文将Mamba框架与Decision Transformer相结合，以提高序列决策任务的性能表现，同时强调了神经网络的架构和训练方法对于复杂任务的性能影响，以及Mamba在强化学习场景中提高Transformer模型效果的潜力。

论文通过在不同的决策环境下进行一系列实验来系统地评估这种整合方法的效果，并将修改后的Decision Transformer与传统模型进行比较。值得关注的是，论文提出的Decision Mamba模型在某些任务中表现出了比传统模型更好的性能。此外，论文还提供了开源代码和使用的数据集。

最近的相关研究包括使用Transformer架构进行强化学习的Decision Transformer模型，以及用于序列建模的Mamba框架。