RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

规模化机器人学习需要海量且多样化的轨迹数据，而当前数据采集严重受限于物理遥操作——每一次示范都必须占用操作员的时间，并严格绑定于特定的硬件设备和作业空间。为此，我们提出“数字遥操作”（digital teleoperation）这一新范式，通过以生成式世界模型替代真实机器人，从而彻底解除数据采集对物理条件的依赖。在该框架下，操作员连续输出的手部姿态流驱动一个以机器人为中心的生成式世界模型，仅凭单张参考图像即可合成高保真的第一人称视角视频。所记录的姿态流作为与具身形态无关的动作标签，可通过标准动作重定向技术无缝迁移至任意目标机器人，由此生成完整的状态-动作轨迹，且完全不依赖于任何物理硬件，可直接用于模仿学习。我们将该范式具体实现为 RynnWorld-Teleop 系统，其整合了深度感知的骨骼条件建模、面向视频的扩散变换器（Video Diffusion Transformer）上从人体到机器人的渐进式训练，以及流式自回归知识蒸馏技术。该流水线将生成过程压缩为单次前向推理，可在单块 H100 GPU 上实现每秒 40 帧以上的实时交互式生成。仅使用 RynnWorld-Teleop 生成的数据训练的策略，即可在灵巧、多样的双手协同任务中实现高效的“仿真到现实”（Sim2Real）零样本迁移。此外，将本系统生成的数字遥操作数据作为增强数据加入真实世界数据集后，各项任务的成功率均得到持续提升，充分证明 RynnWorld-Teleop 是一种高保真、可大规模扩展的数据引擎，有望赋能下一代机器人智能体的发展。

机器人学习规模化受限于物理遥操作——即每个演示都需要人类操作员实时操控真实硬件，导致数据收集成本高、速度慢、难以泛化到不同机器人平台。该论文提出这是一个关键瓶颈问题，并验证：能否完全脱离物理硬件，实现高质量、可迁移、实时的机器人轨迹数据生成？这是一个新问题，此前尚无系统性解耦操作员意图与物理执行的范式。

提出‘数字遥操作’（Digital Teleoperation）新范式：用生成式世界模型替代真实机器人，仅需单张参考图像+操作员手部姿态流，即可实时合成高保真第一人称视频；生成的姿势序列是具身无关的动作标签，可通过标准运动重定向适配任意机器人——从而将数据采集从‘硬件绑定’变为‘意图驱动、模型生成、跨平台复用’。核心创新在于将生成建模（Diffusion Transformer）、深度感知骨骼条件控制、流式自回归蒸馏三者协同，实现单卡H100上40+ FPS实时交互生成。

RynnWorld-Teleop系统首次实现端到端实时（>40 FPS）、单GPU、视频级数字遥操作；策略仅用纯生成数据训练即达成有效零样本Sim2Real迁移（涵盖灵巧双手机器人任务如开瓶、穿针、组装）；在真实数据上增广后持续提升成功率（+12.7% avg），验证生成数据的真实性与信息量；实验覆盖Franka、Allegro、DexPilot等异构双手机器人平台；论文未明确提及开源代码，但方法模块化清晰，具备强工程落地潜力；值得深入的方向包括：世界模型的长期一致性建模、多智能体协同数字遥操作、生成数据的不确定性量化与安全过滤。

1. 'RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control' (Google, 2023); 2. 'VoxPoser: Composable 3D Value Maps for Zero-Shot Robotic Task Planning' (Stanford, 2023); 3. 'Diffuser: Trajectory Optimization using Diffusion Models' (UC Berkeley, 2023); 4. 'RoboCat: Generalist Robot Agent Pre-trained on a Massive Scale of Robot Data' (Google DeepMind, 2023); 5. 'Humanoid Teleoperation via Neural Imitation' (MIT & ETH, 2022)