Robo-Dopamine: General Process Reward Modeling for High-Precision Robotic Manipulation

将强化学习（RL）应用于现实世界机器人时，主要障碍在于如何设计有效的奖励函数。尽管近期基于学习的过程奖励模型（PRMs）展现出一定前景，但其发展常受两大根本性局限的制约：一是其奖励模型缺乏对步骤变化的感知能力，且依赖单一视角的感知输入，导致对精细操作进展的评估不可靠；二是其奖励塑形方法在理论上不够严谨，容易引发语义陷阱，误导策略优化过程。为解决这些问题，我们提出Dopamine-Reward，一种新颖的奖励建模方法，能够从多视角输入中学习通用且具备步骤感知能力的过程奖励模型。该方法的核心是我们的通用奖励模型（GRM），该模型在一个超过3400小时的大规模数据集上训练而成，通过“逐级奖励离散化”实现对任务结构的理解，并利用“多视角奖励融合”克服感知层面的局限性。在Dopamine-Reward的基础上，我们进一步提出Dopamine-RL——一个鲁棒的策略学习框架，采用理论严谨的“策略不变奖励塑形”方法，使智能体能够利用密集奖励高效地自我提升，同时不改变最优策略，从根本上避免语义陷阱的发生。我们在多种模拟和真实世界的任务中进行了广泛实验，验证了本方法的有效性。结果表明，GRM在奖励评估方面达到了最先进的准确率，而基于GRM构建的Dopamine-RL显著提升了策略学习效率。例如，在仅使用一条专家轨迹以一次性方式将GRM迁移到新任务后，所得到的奖励模型即可驱动Dopamine-RL在仅150次在线 rollout（约1小时真实机器人交互）内将策略表现从接近零提升至95%的成功率，同时在不同任务间保持出色的泛化能力。项目网站：https://robo-dopamine.github.io

论文试图解决强化学习在真实机器人应用中因奖励函数设计困难而导致的学习效率低下的问题。特别是现有基于学习的过程奖励模型（PRMs）缺乏对操作步骤的细粒度理解，且依赖单视角感知，导致奖励评估不可靠；同时其奖励塑形方法理论不严谨，容易陷入语义陷阱，误导策略优化。这个问题是当前现实世界机器人学习中的核心瓶颈，具有高度重要性。

提出Dopamine-Reward，构建一个通用、步态感知、多视角的奖励模型GRM，通过‘步级奖励离散化’实现结构理解，结合‘多视角奖励融合’克服感知局限；进一步提出Dopamine-RL框架，采用理论上严格的‘策略不变奖励塑形’方法，在不改变最优策略的前提下利用密集奖励加速学习，从根本上避免语义陷阱。相比现有PRMs，该方法在感知和理论基础层面均有显著创新。

实验涵盖多种仿真与真实机器人任务，验证了GRM在奖励评估上的SOTA性能，以及Dopamine-RL极高的样本效率：仅用150次在线 rollout（约1小时真实交互），即可从近乎零成功提升到95%成功率，且支持单次示范迁移。GRM训练于超过3,400小时的多视角数据，项目已开源，官网为 https://robo-dopamine.github.io。未来可探索其在更复杂动态环境或跨形态机器人上的泛化能力。

1. Video PreTraining (VPT): Learning to Act by Watching Unlabeled Videos 2. Bridge Data: Scaling Robot Learning with Domain-Randomized Real-World Videos 3. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Control 4. Perceiver AR: A General Architecture for Structured and Sparse Data 5. FLAME: Reinforcement Learning with Few Labels via Mutual Information Maximization