【标题】Planning Irregular Object Packing via Hierarchical Reinforcement Learning

【作者团队】Sichao Huang, Ziwei Wang, Jie Zhou, Jiwen Lu

【发表日期】2022.11.17

【论文链接】https://arxiv.org/pdf/2211.09382.pdf

【推荐理由】在仓库和物流行业中，自主机器人进行物体包装是一项重要的挑战。大多数传统的数据驱动包装规划方法侧重于规则的长方体包装，这通常是启发式的，并限制了在日常对象的实际应用中的实际应用。本文提出了一种深度分层强化学习方法，以同时规划不规则对象的包装序列和放置。具体地说，高层管理者网络从所有对象的六个主视图高度图推断打包顺序，然后底层工作者网络接收下一个对象的高度图以预测放置位置和方向。这两个网络在自我监督的Q-Learning框架中分层训练，其中奖励由基于顶部高度、对象体积和盒子中放置稳定性的打包结果提供。该框架反复重复顺序和放置规划，直到所有对象都被打包到箱子中，或者没有空间来存放未打包的物品。本方法在物理模拟器中与现有的机器人包装方法进行了比较。实验表明，与最先进的不规则对象打包方法相比，本文的方法可以以更少的时间成本打包更多的对象。作者还用机器人操纵器实现了本文的包装计划，以展示现实世界中的泛化能力。