Image-to-Force Estimation for Soft Tissue Interaction in Robotic-Assisted Surgery Using Structured Light

对于微创手术（MIS）机器人，精确的触觉交互力反馈对于确保与软组织交互的安全性至关重要。然而，由于空间限制，大多数现有的MIS机器人系统无法通过硬件传感器直接测量交互力。本文介绍了一种有效的基于视觉的方案，该方案利用一次性结构光投影在软组织上生成设计图案，并通过训练好的图像到力神经网络处理触觉信息。从内窥镜立体相机捕获的图像被分析以重建高分辨率的3D点云，用于描述软组织的变形。基于此，提出了一种改进的基于PointNet的力估计方法，该方法在表示软组织复杂的机械特性方面表现出色。在三种不同硬度的硅材料上进行了数值力交互实验，结果验证了所提出的方案的有效性。

该论文试图解决微创手术（MIS）机器人中准确的触觉交互力反馈问题，特别是在与软组织交互时的安全性保障。由于空间限制，大多数现有的MIS系统无法直接通过硬件传感器测量交互力，这是一个长期存在的挑战。

关键思路是提出了一种基于视觉的方案，利用一次性结构光投影和设计的图案在软组织上进行成像，并通过训练好的图像到力的神经网络处理触觉信息。该方法结合了内窥镜立体相机捕捉的图像来重建高分辨率3D点云，以表示软组织变形，再使用改进的PointNet方法估计力。这为复杂软组织机械特性的表征提供了新的途径。

实验设计包括对三种不同硬度的硅材料进行数值力交互实验，验证了该方案的有效性。此外，该研究利用了深度学习中的图像到力映射技术，展示了其在医疗机器人领域的应用潜力。值得注意的是，作者没有提及是否开源代码或数据集，但这种创新的方法为未来的研究提供了方向，特别是关于如何更好地模拟和理解软组织行为。

近年来，关于微创手术机器人的触觉反馈研究有很多进展。例如，《Haptic Feedback in Robotic Surgery: A Review》综述了该领域的发展现状；《Deep Learning for Estimating Contact Forces in Surgical Robotics》探讨了深度学习在估计接触力中的应用；《Vision-Based Force Sensing for Minimally Invasive Surgery》则专注于基于视觉的力量感知技术。