Temporal Difference Flows

对未来进行预测的模型是代理推理和规划能力的基础。一种常见的策略是学习一个世界模型，并在推理时逐步展开它，但这种方法中的小误差可能会迅速累积。几何视野模型（GHMs）提供了一种有吸引力的替代方案，通过直接预测未来状态来避免累积的推理误差。虽然 GHMs 可以通过生成式的时间差分（TD）学习方法方便地学习，但现有的方法在训练过程中受到引导预测的负面影响，并且难以生成高质量的长期预测。本文引入了时间差分流（TD-Flow），该方法利用新型概率路径贝尔曼方程的结构以及流匹配技术，能够在比先前方法长五倍以上的视野长度上学习精确的 GHMs。理论上，我们建立了一个新的收敛结果，并将 TD-Flow 的有效性主要归因于训练过程中梯度方差的降低。我们进一步表明，类似的论点可以扩展到基于扩散的方法。实证上，我们在多个领域中通过生成指标和下游任务（包括策略评估）验证了 TD-Flow 的性能。此外，将 TD-Flow 与最近的行为基础模型结合用于预训练策略的规划，展示了显著的性能提升，突显了其在长期决策中的潜力。

该论文试图解决预测模型在长期未来状态预测中累积误差的问题。现有的几何地平线模型（GHMs）虽然能够直接预测未来状态，但在训练时受到引导预测的负面影响，并且难以生成高质量的长视界预测。这是一个已知问题，但尚未有特别有效的方法来缓解这种误差累积。

论文提出了一种名为Temporal Difference Flows（TD-Flow）的新方法，通过结合概率路径上的贝尔曼方程结构和流匹配技术，学习更准确的GHMs。与传统方法不同，TD-Flow通过减少训练过程中的梯度方差来提高预测质量，并能够在超过5倍于现有方法的视界长度上进行准确预测。

1. TD-Flow在多个领域中展示了其优越性，包括生成指标和下游任务如策略评估。 2. 论文提供了理论支持，证明了TD-Flow的收敛性和减少梯度方差的效果。 3. 实验涵盖了多样化的数据集，并验证了TD-Flow在规划任务中的性能提升。 4. 开源代码未提及，但论文提出了未来将TD-Flow与预训练行为基础模型结合的研究方向。 5. 还讨论了扩散模型的潜在扩展，为后续研究提供了思路。

最近的相关研究包括： 1. "Learning Latent Dynamics for Planning from Pixel" - 探索从像素中学习潜在动力学以进行规划。 2. "PlaNet: Planning with Latent Dynamical Models" - 提出基于潜在动态模型的规划方法。 3. "Dreamer: Continual Learning of Skills and Behaviors" - 研究如何通过梦境模拟持续学习技能和行为。 4. "World Models" - 结合VAE、RNN和强化学习来构建世界模型。 这些工作都关注于学习世界模型或潜在动力学以改进规划和决策，而TD-Flow则提供了一种新的视角来优化几何地平线模型的预测能力。