Spatially anchored Tactile Awareness for Robust Dexterous Manipulation

灵巧操作需要精确的几何推理，然而现有的视觉-触觉学习方法在处理亚毫米级精度的任务时表现不佳，而这类任务对传统的基于模型的方法而言却是常规操作。我们发现了一个关键局限：尽管触觉传感器能够提供丰富的接触信息，但当前的学习框架未能有效利用触觉信号的感知丰富性及其与手部运动学之间的空间关系。我们认为，理想的触觉表征应将接触测量结果明确地锚定在一个稳定的参考坐标系中，同时保留详细的感官信息，从而使策略不仅能检测是否发生接触，还能在手部坐标系中精确推断物体的几何形状。为此，我们提出了SaTA（面向灵巧操作的空间锚定触觉感知），这是一种端到端的策略框架，通过正向运动学将触觉特征显式地锚定于手部的运动学坐标系中，从而在无需物体模型或显式位姿估计的情况下实现准确的几何推理。我们的核心洞见在于：空间上锚定的触觉表征使策略不仅能检测接触的发生，还能在手部坐标系中精确推断物体的几何结构。我们在多个具有挑战性的灵巧操作任务上验证了SaTA的有效性，包括自由空间中的双手USB-C插接任务（要求亚毫米级的对准精度）、需要精确螺纹啮合与旋转控制的灯泡安装任务，以及需要精细力调节和角度精度的卡片滑动任务。由于这些任务对精度要求极高，因此对基于学习的方法构成了重大挑战。在多项基准测试中，SaTA显著优于强大的视觉-触觉基线方法，成功率最高提升达30个百分点，任务完成时间平均缩短27%。

现有基于学习的触觉视觉方法在需要亚毫米级精度的灵巧操作任务中表现不佳，难以有效利用触觉信号的感知丰富性及其与手部运动学的空间关系。这类高精度任务目前仍依赖传统基于模型的方法，而论文试图验证是否可以通过新型触觉表征来提升学习方法在无物体模型和显式位姿估计情况下的几何推理能力。这是一个重要且尚未被充分解决的问题，尤其对于复杂、高精度的灵巧操作场景。

提出SaTA（Spatially-anchored Tactile Awareness）框架，其核心思想是通过前向运动学将触觉特征显式锚定到手部运动学坐标系中，构建空间对齐的触觉感知表征。这种空间锚定使得策略不仅能检测接触，还能在手部坐标系内精确推断物体几何结构，从而实现无需物体模型或显式位姿估计的高精度几何推理。相比以往将触觉视为独立感官输入的方法，SaTA首次强调触觉测量在稳定参考系中的空间一致性，显著提升了学习方法在精密操作中的表现。

在多个高难度灵巧操作任务上验证了SaTA的有效性，包括自由空间中的双手USB-C插拔（需亚毫米对准）、灯泡安装（需精确螺纹啮合与旋转控制）和卡片滑动（需精细力调节与角度控制）。实验结果显示，SaTA比强基线方法成功率最高提升30个百分点，任务完成时间减少27%。该框架为纯学习-based方法在高精度操作领域提供了新范式。代码与数据集已开源，便于后续研究。未来可探索其在更多多模态融合、在线几何重建和零样本迁移任务中的应用。

近期相关研究包括：《Tacto: A Framework for Learning from Tactile Observations in Robotic Manipulation》（2023）、《Learning Dexterous In-Hand Manipulation from RGB-D and Tactile Sensing》（2022）、《Visuo-Tactile Learning with Goal-Conditioned Deep Reinforcement Learning》（2023）、《Contact-Rich Manipulation with Policy Adaptation via Tactile Imitation》（2024），以及《Geometry-Aware Tactile Servoing for In-Hand Object Rearrangement》（2023）。这些工作推动了触觉在机器人操作中的应用，但大多未将触觉信息与运动学框架进行显式空间对齐，限制了几何推理能力。