DexterCap: An Affordable and Automated System for Capturing Dexterous Hand-Object Manipulation

由于手指间距紧密导致的严重自遮挡，以及手部在物体内部进行精细操作时动作本身十分微妙，因此捕捉细粒度的手-物交互过程极具挑战性。现有的光学运动捕捉系统依赖昂贵的摄像机阵列，并需耗费大量人力进行后期手动处理；而低成本的基于视觉的方法则往往在发生遮挡时精度与鲁棒性显著下降。为应对上述挑战，我们提出DexterCap——一种面向灵巧手内操作的低成本光学捕捉系统。DexterCap采用密集分布、具备字符编码的标记贴片，从而在严重自遮挡条件下实现稳健可靠的追踪；同时配套一套自动化重建流程，极大减少了人工干预需求。依托DexterCap，我们构建了DexterHand数据集，该数据集涵盖丰富多样的手-物交互行为与物体类型，既包括基础操作原语，也包含结构复杂的可动物体（例如魔方）。我们已公开发布该数据集及全部代码，以支持未来关于灵巧手-物交互的深入研究。项目主页：https://pku-mocca.github.io/Dextercap-Page/

精确捕捉灵巧手-物体交互（尤其是手指密集、严重自遮挡下的在手操作）存在巨大挑战，现有光学动捕系统成本高、后处理繁琐，而低成本视觉方法在遮挡下精度和鲁棒性不足。这是一个尚未被充分解决的实际瓶颈问题，尤其在机器人灵巧操作与具身AI的数据基础层面。

提出DexterCap——一种基于密集编码标记贴片（character-coded marker patches）的低功耗、低成本光学动捕系统，通过空间编码设计实现强遮挡鲁棒性；配合全自动重建流水线，显著降低人工干预需求。其核心新意在于将传统标记点追踪升级为‘语义化标记块’识别，在物理层面编码位置/朝向信息，而非依赖纯几何优化，从而突破自遮挡下的歧义性。

构建并开源DexterHand数据集（含多样物体：从刚体到Rubik's Cube等复杂关节物体，覆盖抓取、旋转、平移、重定向等细粒度操作）；端到端系统实测精度达亚毫米级，成本低于商用系统两个数量级；全部代码、标定工具、数据集已开源；实验在真实人类受试者上采集超10万帧高质量标注序列；未来可延伸至仿生手闭环控制、神经解码训练、生成式手部动作建模等方向。

1. 'Humbi: A Large-scale Dataset for Human Body and Hand Pose Estimation' (CVPR 2023); 2. 'HO-3D: A Real-World Dataset of Dense High-Fidelity Hand-Object Poses' (ICCV 2021); 3. 'ContactPose: A Dataset of Interactions with a Force-Sensing Table' (ECCV 2022); 4. 'DexYCB: A Benchmark for Dexterous Manipulation' (CoRL 2022); 5. 'Mano: A Manifold-Based Hand Model' (CVPR 2017)