Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation

尽管深度学习取得了实质性的进展，但其在工业机器人项目中的应用仍然受到限制，主要是由于数据获取和标记方面的挑战。之前使用域随机化的sim2real方法需要进行大量的场景和模型优化。为了解决这些问题，我们引入了一种创新的基于物理的结构光模拟系统，可以生成RGB和物理上逼真的深度图像，超越了以前的数据集生成工具。我们创建了一个针对工业机器人抓取场景量身定制的RGBD数据集，并在各种任务中进行了评估，包括目标检测、实例分割以及将sim2real视觉感知嵌入到工业机器人抓取中。通过减少sim2real差距并增强深度学习训练，我们促进了深度学习模型在工业环境中的应用。项目详细信息可在https://baikaixinpublic.github.io/structured light 3D synthesizer/上获得。

论文旨在解决深度学习在工业机器人项目中应用受限的问题，主要是由于数据采集和标注的挑战。

通过引入一种创新的基于物理的结构光模拟系统，生成物理上逼真的深度图像，从而减少sim2real差距，并增强深度学习训练。

论文创建了一个针对工业机器人抓取场景的RGBD数据集，并在不同任务中进行了评估，包括物体检测、实例分割和将sim2real视觉感知嵌入工业机器人抓取中。此外，论文提出的物理模拟系统超越了以前的数据集生成工具。

最近的相关研究包括使用领域随机化的sim2real方法，以及其他数据集生成工具，如Gibson环境和AI Habitat。