FOTS: A Fast Optical Tactile Simulator for Sim2Real Learning of Tactile-motor Robot Manipulation Skills

本文介绍了一种名为FOTS的快速光学触觉模拟器，用于模拟光学触觉传感器。在机器人领域，模拟是一种广泛使用的工具，可以减少硬件消耗并收集大规模数据。尽管之前已经有过模拟光学触觉传感器的尝试，但在有效地合成图像和在不同接触负载下复制标记运动方面仍存在挑战。本文提出了一种利用多层感知器映射和平面阴影生成来模拟光学响应的方法，同时采用标记分布近似来模拟由弹性体变形引起的表面标记运动。实验结果表明，FOTS在图像生成质量和渲染速度方面优于其他方法，在单个CPU上实现了28.6 fps的光学模拟和326.1 fps的标记运动模拟，无需GPU加速。此外，我们将FOTS模拟模型与MuJoCo等物理引擎集成，Peg-in-Hole任务证明了我们的方法在实现零-shot Sim2Real触觉-运动机器人操作技能学习方面的有效性。我们的代码可在https://github.com/Rancho-zhao/FOTS上获得。

提出一种快速的光学触觉传感器模拟器(FOTS)，用于在机器人领域中的大规模数据收集和节约硬件成本。

利用多层感知器映射和平面阴影生成来模拟光学响应，并采用标记分布近似来模拟表面标记的运动。将FOTS模拟模型与MuJoCo等物理引擎相结合，实现了零样本Sim2Real学习。

FOTS在图像生成质量和渲染速度方面优于其他方法，可在单个CPU上实现28.6 fps的光学模拟和326.1 fps的标记运动模拟。实验中使用了peg-in-hole任务来展示FOTS在机器人操作技能的零样本Sim2Real学习方面的有效性。研究代码已开源。

最近的相关研究包括《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》、《Learning Dexterous In-Hand Manipulation》等。