目前，自然图像-文本的多模态预训练模型已经在各种各样的下游任务上取得了非常好的效果，但是由于域之间的差异很难直接迁移到医学领域。同时，获取有标注的医学图像领域的数据集通常需要大量的专业知识和较高的成本，所以从对应的放射学报告中得到有效监督从而提高性能成为一种可能。本文主要介绍医学的多模态模型的进展，这些模型方法在下游的分类、分割、检索、图像生成等任务上均取得了性能的提升。

 

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除