ALDM-Grasping: Diffusion-aided Zero-Shot Sim-to-Real Transfer for Robot Grasping

本研究提出了一种基于扩散的框架来解决Sim-to-Real转移中遇到的“现实差距”问题，该框架最小化了模拟环境和真实环境之间抓取动作的不一致性。该过程首先通过训练对抗监督的布局到图像扩散模型(ALDM)来开始。然后，利用ALDM方法增强模拟环境，使其具有照片般逼真的保真度，从而优化机器人抓取任务的训练。实验结果表明，该框架在成功率和适应新环境方面优于现有模型，通过在各种条件下提高视觉抓取动作的准确性和可靠性。具体来说，在纯色背景下，它实现了75％的抓取任务成功率，在更复杂的情况下保持了65％的成功率。这种表现表明，该框架在基于文本描述生成受控图像内容、识别物体抓取点和在复杂的未知场景中展示零样本学习方面表现出色。

该论文旨在解决Sim-to-Real转移中遇到的“现实差距”问题，即如何将模拟环境中的抓取动作转移到真实环境中。

该论文提出了一种基于扩散的框架，通过训练对抗生成网络来优化模拟环境，从而实现更准确和可靠的视觉抓取动作，进而提高机器人抓取任务的训练效果。

该框架在多种情况下的成功率均超过了现有模型，尤其是在复杂场景中具有较强的适应性和零样本学习能力。实验设计合理，使用了开源数据集，并提供了开源代码。

在Sim-to-Real转移领域，还有一些相关的研究，如《Learning to Simulate for Physical Interaction》和《Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World》等。