ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

灵巧操作是机器人系统的一项核心能力，使其能够以类似人类的方式与物理世界互动。尽管基于视觉的方法发展迅速，但在需要精细控制的情况下，特别是在非结构化或视觉遮挡的环境中，触觉感知仍然至关重要。我们提出了 ViTacFormer，这是一种表示学习方法，通过交叉注意力编码器将高分辨率的视觉和触觉信息融合，并结合一个自回归触觉预测模块，用于预测未来的接触信号。基于这一架构，我们设计了一种从简单到复杂的课程训练方法，逐步优化视觉-触觉潜在空间，从而提升准确性和鲁棒性。所学到的跨模态表示驱动了多指机械手的模仿学习，实现了精确且适应性强的操作能力。在一系列具有挑战性的现实世界基准测试中，我们的方法比之前的最先进系统成功率高出约 50%。据我们所知，这也是首个能够使用类人手自主完成需要极高精度控制的长时间灵巧操作任务的方法，成功执行多达 11 个连续阶段，并持续运行 2.5 分钟。

该论文试图解决机器人在复杂环境中实现类人精细操作的问题，特别是通过结合视觉和触觉信息来提升机器人的操控能力。这是一个长期存在的问题，但本文特别关注在遮挡或非结构化环境下的高精度控制，这是现有方法较少触及的领域。

论文提出了一种名为ViTacFormer的跨模态学习架构，结合了视觉和触觉数据，并通过自回归预测头对未来接触信号进行预测。此外，引入了一种从简单到复杂的课程学习策略，逐步优化视觉-触觉联合表示空间。这种方法不仅融合了多模态信息，还增强了模型对未来交互的预测能力，从而改进了模仿学习的效果。

1. ViTacFormer在真实世界基准测试中表现优异，相比先前的最佳方法提高了约50%的成功率；2. 这是首个能够自主完成长达2.5分钟、包含多达11个连续阶段的精细操作任务的系统；3. 实验设计涵盖了多种挑战性场景，验证了模型在不同条件下的鲁棒性；4. 论文未明确提及代码开源情况，但其方法论为未来研究提供了清晰方向，例如如何进一步优化多模态融合和长时序任务规划。

近期相关研究包括：1. 'TACTO: A High-Fidelity Simulator for Dexterous Manipulation with Tactile Sensors'，探讨了触觉模拟器的设计；2. 'Learning Dexterous In-Hand Manipulation'，专注于使用深度强化学习实现灵巧的手部操作；3. 'Vision-Touch Fusion for Robotic Grasping and Manipulation'，研究了视觉与触觉信息的早期融合方法。这些工作共同推动了机器人在复杂任务中的感知与控制能力。