DD-VNB: A Depth-based Dual-Loop Framework for Real-time Visually Navigated Bronchoscopy

实时的六自由度支气管镜定位对于提高干预质量至关重要。然而，当前的基于视觉的技术在泛化到未知数据和计算速度之间很难平衡。在这项研究中，我们提出了一种基于深度的双环路框架，用于实时视觉导航支气管镜检查（DD-VNB），可以在不需要重新训练的情况下在患者病例之间泛化。DD-VNB框架集成了两个关键模块：深度估计和双环路定位。为了解决患者之间的领域差异，我们提出了一种嵌入知识的深度估计网络，将内窥镜帧映射到深度，通过消除患者特定的纹理来确保泛化。该网络将视图合成知识嵌入到循环对抗架构中，用于尺度受限的单目深度估计。为了实现实时性能，我们的定位模块将快速的自我运动估计网络嵌入到深度配准的循环中。自我运动推断网络高频估计支气管镜的姿态变化，而深度配准对抗术前三维模型提供绝对姿态。具体而言，相对姿态变化被输入到配准过程中作为初始猜测，以提高其准确性和速度。对幻影和患者数据的实验表明了我们框架的有效性：1）单目深度估计优于现有技术，2）定位在幻影和患者数据中分别实现了4.7±3.17毫米和6.49±3.88毫米的绝对跟踪误差（ATE），3）帧速率接近视频捕捉速度，4）无需重新训练网络。该框架的超高速度和准确性展示了其在实时支气管镜导航中具有潜在的临床应用前景。

提高支气管镜实时定位的精度和速度，解决当前视觉技术在泛化性和计算速度之间的平衡问题。

提出了一种基于深度的双环路框架，结合深度估计和双环路定位模块，实现了无需重新训练即可泛化到不同病例的实时支气管镜导航。

实验结果表明，该方法在幻影和患者数据上实现了4.7±3.17mm和6.49±3.88mm的绝对跟踪误差精度，帧率接近视频捕获速度，且无需针对每个病例重新训练网络。

近期的相关研究包括：1）基于深度学习的支气管镜导航方法；2）视觉SLAM技术在支气管镜导航中的应用；3）基于深度学习的视觉里程计方法。