Sim-To-Real Transfer for Visual Reinforcement Learning of Deformable Object Manipulation for Robot-Assisted Surgery

自动化技术有望协助外科医生进行机器人手术，将他们的心理工作负荷从视觉运动控制转移到高级决策制定。强化学习在学习复杂的视觉运动策略方面表现出有希望的结果，特别是在模拟环境中，可以以较低成本收集许多样本。核心挑战是在模拟环境中学习可以在现实世界中部署的策略，从而克服模拟到现实的差距。 在这项工作中，我们通过基于像素级域适应的图像强化学习流程来弥合视觉模拟和现实之间的差距，并在可变形物体操纵的基于图像的任务中展示了其有效性。我们选择组织牵引任务，因为它在精确癌症手术的临床现实中非常重要。在模拟环境中进行培训后，我们的策略需要无需重新训练即可使用原始RGB图像在真实机器人系统上以50%的成功率执行组织牵引。此外，我们的模拟到现实转移方法对任务本身不作任何假设，并且不需要成对的图像。这项工作介绍了在手术领域中变形物体机器人操纵的视觉模拟到现实转移的首次成功应用，这代表着向认知外科机器人的临床应用迈出了重要一步。

如何通过图像域适应解决模拟到真实世界的转移问题，以实现机器人手术中的智能辅助？

采用基于图像的强化学习方法，通过像素级的域适应实现模拟到真实世界的转移，并在可变形物体操作中成功应用。

论文在可变形物体操作任务上，通过基于图像的强化学习方法，成功实现了模拟到真实世界的转移。该方法不需要任务相关的假设和配对图像，且无需重新训练即可在真实机器人系统中执行任务。实验结果表明，该方法在精确癌症手术领域具有潜在应用价值。

最近的相关研究包括：《Unsupervised Domain Adaptation for Robust Face Recognition in Unlabeled Videos》、《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》等。