ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training

本文提出了 ManiFlow，这是一种用于通用机器人操作的视觉运动模仿学习策略，能够根据多样化的视觉、语言和本体感觉输入生成精确的高维动作。我们利用结合一致性训练的流匹配方法，仅需 1-2 步推理即可生成高质量的灵巧动作。为了高效处理多种输入模态，我们提出了 DiT-X，这是一种具有自适应交叉注意力机制和 AdaLN-Zero 条件控制的扩散变换器架构，能够实现动作标记与多模态观测之间的细粒度特征交互。ManiFlow 在多种模拟基准任务中均表现出一致的性能提升，并在真实世界任务中，针对单臂、双臂和人形机器人设置下的任务成功率接近翻倍。广泛的评估进一步表明，ManiFlow 对新物体和背景变化具有很强的鲁棒性和泛化能力，同时也展现出随着数据集规模扩大而提升的优秀扩展性。我们的网站：maniflow-policy.github.io。

这篇论文旨在解决机器人操作中高精度、高维度动作生成的问题，尤其是在面对多样化的视觉、语言和本体感知输入时，如何高效地生成灵活、精确的动作。这是一个重要的新问题，因为当前的机器人控制策略往往难以处理多模态输入，并在真实世界任务中表现出较低的泛化能力和鲁棒性。

论文的关键思路是引入ManiFlow——一种基于流匹配与一致性训练的视觉运动模仿学习策略，能够在仅1-2次推理步骤内生成高质量的动作。此外，作者提出DiT-X架构，结合了扩散Transformer、自适应交叉注意力和AdaLN-Zero条件机制，以实现动作token与多模态观测之间的细粒度交互。这一思路在机器人控制领域是新颖的，将扩散模型与高效的生成推理机制结合，显著提升了动作生成效率和精度。

1. ManiFlow在多个模拟和真实世界任务中表现出色，特别是在单臂、双臂和人形机器人设置下，成功率接近翻倍。 2. 模型在面对新物体和背景变化时展现出强鲁棒性和泛化能力。 3. 实验设计覆盖了广泛的任务和机器人形态，证明了模型的可扩展性和适应性。 4. 作者提供了项目网站，但未明确提及是否开源代码或使用哪些具体数据集，仍值得关注跟进。

1. Diffusion Policy: Visuomotor Control via Action Diffusion with Learned Dynamics (2023) 2. Trajectory Transformer: Modeling Temporal Point Clouds for Robotic Manipulation (2022) 3. Language-Conditioned Imitation Learning for Complex Tasks (2023) 4. Flow Matching for Generative Models: Efficient and Accurate Approaches (2023) 5. Perceiver IO: A General Architecture for Sequential and Multimodal Data Processing (2021)