【标题】Incorporating Prior Knowledge into Reinforcement Learning for Soft Tissue Manipulation with Autonomous Grasping Point Selection

【作者团队】Xian He, Shuai Zhang, Shanlin Yang, Bo Ouyang

【发表日期】2022.7.21

【论文链接】https://arxiv.org/pdf/2207.10438.pdf

【推荐理由】先前的软组织操作研究假设抓取点已知并且可以实现目标变形。在操作过程中,约束应该是恒定的,并且软组织周围没有障碍物。为了超越这些假设,本文提出了一种具有先验知识的深度强化学习框架,用于在未知约束条件下(例如筋膜施加的力)进行软组织操作。先验知识通过直观的操作策略来表示。作为智能体的一个动作,调节因子用于协调直观方法和深思熟虑的网络。奖励函数旨在平衡大变形的探索和利用。成功的仿真结果验证了所提出的框架可以操纵软组织,同时避开障碍物并添加新的位置约束。与软演员批评(SAC)算法相比,该框架可以加快训练过程,提高泛化能力。