论文标题：The entire network structure of Crossmodal Transformer

论文链接：https://arxiv.org/abs/2104.14273

作者单位：北京安贞医院

我们提出Crossmodal Transformer：一种基于Transformer的端对端3D-2D医学图像配准网络，以学习一对特定的2D X射线图像和任意3D CT图像之间的空间对应关系。

由于未定义的介入式2D X射线和不确定的介入前3D计算机断层扫描（CT）之间的映射关系不确定，因此通常使用辅助定位设备或身体标记物（例如医疗植入物）来确定这种关系。然而，由于复杂的现实，这种方法不能在临床中广泛使用。为了确定映射关系，并在没有辅助设备或标记的情况下实现人体的初始化后估计，提出了一种跨模态匹配变换器网络，用于直接匹配2D X射线和3D CT图像。所提出的方法首先从2D X射线和3D CT图像中深度学习骨骼特征。然后将特征转换为一维X射线和CT表示向量，然后使用多模式转换器对其进行组合。结果，训练有素的网络可以直接预测任意2D X射线和3D CT之间的空间对应关系。实验结果表明，将我们的方法与常规方法相结合，所达到的准确性和速度可以满足基本的临床干预需求，并为介入治疗内注册提供了新的方向。

内容中包含的图片若涉及版权问题，请及时与我们联系删除