Sample-efficient Imitative Multi-token Decision Transformer for Generalizable Real World Driving

“通过序列建模的强化学习在自主系统中表现出了惊人的潜力，利用离线数据集的力量在模拟环境中做出明智的决策。然而，在复杂的动态环境中，这种方法的全部潜力仍有待发掘。在自动驾驶领域，基于学习的代理面临着将知识从模拟环境转移到真实世界设置的重大挑战，并且性能也受到数据分布转移的显著影响。为了解决这些问题，我们提出了一种样本高效的模仿多令牌决策变压器（SimDT）。SimDT引入了多令牌预测、模仿在线学习和优先经验重放到决策变压器中。通过实证实验评估了性能，结果超过了Waymax基准上流行的模仿和强化学习算法。”

SimDT论文旨在解决自动驾驶领域中，学习代理在从模拟环境到真实环境的知识转移和数据分布转移方面所面临的挑战。

SimDT将多令牌预测、模仿在线学习和优先经验回放引入决策Transformer，以提高学习效率和泛化性能。

论文通过实验验证了SimDT的性能，并在Waymax基准测试中超过了流行的模仿和强化学习算法。论文还提供了开源代码和数据集，值得进一步研究。

在近期的相关研究中，还有一些与SimDT相关的论文，如《Multi-Task Learning for Autonomous Driving with Visual Perception》和《End-to-End Multi-Task Learning with Attention for Autonomous Driving》等。