Leveraging Foundation Models for Content-Based Medical Image Retrieval in Radiology

基于内容的图像检索（CBIR）有潜力显著提高放射学中的诊断辅助和医学研究。当前的CBIR系统由于专门针对某些病理而存在局限性，限制了其实用性。为此，我们建议使用视觉基础模型作为强大而多功能的现成特征提取器，用于基于内容的医学图像检索。通过在1.6百万个跨越四种模态和161种病理的2D放射学图像综合数据集上对这些模型进行基准测试，我们确定了弱监督模型的优越性，其P@1值可达0.594。这种性能不仅与专业模型竞争，而且不需要微调。我们的分析进一步探讨了检索病理结构与解剖结构的挑战，表明准确检索病理特征更加困难。尽管存在这些挑战，我们的研究强调了基础模型在放射学CBIR中的巨大潜力，提出了向多功能、通用的医学图像检索系统的转变，这些系统不需要特定的调整。

本论文旨在解决医学图像检索中的限制性问题，即当前CBIR系统的专业性限制了其实用性。论文提出利用视觉基础模型作为强大而通用的特征提取器，以实现内容基础医学图像检索。

论文的关键思路是使用弱监督模型作为通用的特征提取器，而不需要进行微调。研究还探讨了检索病理学和解剖学结构的挑战，表明准确检索病理学特征更具挑战性。

论文使用了一个包含161种病理和4种模态的全面数据集进行基准测试，并确定了弱监督模型是最优的，其P@1可达0.594。实验结果表明，视觉基础模型在医学图像检索中具有巨大的潜力，可以作为通用的医学图像检索系统。

最近的相关研究包括使用深度学习模型进行医学图像检索，以及使用自然语言处理技术进行医学图像注释。