Transformer-Based Local Feature Matching for Multimodal Image Registration

超声成像是一种经济实惠且无辐射的成像方式，可以实时可视化解剖结构，因此非常适合用于指导手术干预。然而，由于其有限的视野、斑点噪声和成像伪影等问题，使得经验不足的用户难以解读图像。本文提出了一种新的二维超声到三维CT配准方法，以改善超声引导干预手术的指导。我们的方法采用了一种称为LoFTR的密集特征匹配方法，用于我们的多模态配准问题。我们学习预测使用基于Transformer的架构的密集粗到细的对应关系，以估计二维超声帧和CT扫描之间的稳健刚性变换。此外，还介绍了一种完全可微的姿态估计方法，通过在训练期间优化LoFTR的姿态估计误差来实现。在一组离体猪肾多模态数据集上进行的实验表明，该方法在术中、无跟踪超声姿态估计方面具有良好的结果。通过将二维超声帧映射到三维CT体积空间中，该方法提供术中指导，有可能改善手术工作流程和图像解读。

论文旨在提出一种新的2D超声到3D CT配准方法，以改善超声引导下手术干预的精度和效率。

该方法采用了一种名为LoFTR的密集特征匹配方法，并结合Transformer-based架构学习预测粗到细的密集对应关系，从而实现2D超声帧与CT扫描之间的鲁棒刚性变换。

论文在离体猪肾的多模态数据集上进行了实验，展示了该方法在手术过程中无需跟踪器的超声姿态估计方面的良好结果。该方法能够将2D超声帧映射到3D CT体积空间中，提供手术过程中的引导，潜在地改善手术流程和图像解释。

最近的相关研究包括：1. 'Ultrasound to CT registration for image-guided spinal injection'；2. 'Real-time 3D ultrasound to CT registration using hybrid image features'；3. 'A review of ultrasound image registration techniques'。