KOROL: Learning Visualizable Object Feature with Koopman Operator Rollout for Manipulation

学习熟练的操纵技能面临着重大挑战，因为对象和多指手之间的相互作用涉及到复杂的非线性动力学。Koopman算子已成为在线性框架内建模这种非线性动力学的强大方法。然而，目前的方法依赖于运行时访问基本事实（GT）对象状态，因此不适用于基于视觉的实际应用。与隐式学习用于控制的视觉特征的图像到动作策略不同，我们使用动力学模型，特别是Koopman算子，来学习在场景中对机器人操作至关重要的可视化可解释的对象特征。我们使用由特征提取器预测的对象特征构建Koopman算子，并利用它自回归地推进系统状态。我们训练特征提取器将场景信息嵌入对象特征中，从而实现机器人轨迹的准确传播。我们在模拟和真实的机器人任务上评估了我们的方法，结果表明它的性能优于基于模型的模仿学习NDP 1.08倍和基于图像到动作扩散策略1.16倍。结果表明我们的方法通过学习特征来维持任务成功率，并扩展了在没有GT对象状态的情况下的适用性。

本论文旨在解决机器人操作中的非线性动力学建模问题，通过使用Koopman算子构建一个线性框架，学习可视化的对象特征，从而实现机器人的自主操作。

论文的关键思路是使用预测的对象特征构建Koopman算子，并利用其自回归地推进系统状态，从而实现机器人的自主操作。相比于当前的研究，该方法不需要运行时访问地面真实状态，具有更广泛的应用前景。

论文通过实验验证了该方法的有效性，结果表明该方法在模拟和实际机器人任务中的表现均优于现有的基于模型的模仿学习和基于图像的扩散策略。该方法还通过在对象特征中嵌入场景信息，实现了机器人轨迹的准确传播。值得关注的是，该方法可以在没有地面真实状态的情况下实现机器人的自主操作。

在这个领域中，最近的相关研究包括：《Learning Dexterous In-Hand Manipulation》、《Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control》、《End-to-End Learning of Object Grasping for Robotic Manipulation with Deep Reinforcement Learning》等。