Nat. Mach. Intell. | 面向多模态医学图像恢复与增强的一体化基础模型

医学图像质量直接影响临床诊断的准确性及下游人工智能模型的可靠性。然而，在实际临床环境中，医学图像经常受到噪声、运动伪影、低对比度、低剂量采集及成像设备限制等因素影响，导致重要解剖结构和病理特征难以辨认。现有医学图像增强方法大多针对单一成像模态或特定退化类型设计，难以适应真实临床环境中的复杂成像条件。

研究人员提出了一种面向多模态医学图像恢复与增强的一体化基础模型AMIFound，能够统一处理计算机断层扫描（CT）、磁共振成像（MRI）、正电子发射断层扫描（PET）、内镜、超声、眼底及X射线七种医学成像模态。该模型基于376万余对高质量与退化图像进行训练，通过共享编码器学习不同模态和图像退化特征，并利用动态专家路由机制自适应选择图像恢复策略。

实验结果表明，AMIFound在七种成像模态中均表现出优异的图像恢复性能，在客观图像质量指标、临床医生评价及复杂退化场景下的鲁棒性方面优于现有方法。进一步研究发现，增强后的医学图像能够改善44项疾病检测任务的表现，并提高非小细胞肺癌的肿瘤分期预测及患者生存风险分层能力。该研究表明，统一的医学图像增强基础模型不仅能够改善图像视觉质量，还能够为下游临床人工智能分析提供更加可靠的数据基础。

医学影像是现代临床诊断、疾病筛查和治疗监测的重要组成部分。随着CT、MRI、PET、数字X射线、超声及内镜等成像技术的发展，医学影像能够从不同角度呈现人体组织结构、病理变化和代谢活动，为疾病诊断提供关键依据。

然而，医学图像的采集过程不可避免地受到设备性能、患者运动、辐射剂量限制和成像物理机制等因素影响。例如，MRI中的运动和欠采样可能产生混叠伪影，低剂量PET中的计数噪声会降低病灶对比度，CT中的金属植入物可能造成条纹伪影，而内镜、超声和眼底成像还可能受到照明不足、声学伪影及反射干扰的影响。

这些图像质量问题不仅降低医生对病变区域的辨识能力，还可能影响人工智能模型对疾病特征的提取与判断。近年来，深度学习已被广泛用于医学图像去噪、去模糊、超分辨率重建和伪影校正，但多数方法仅针对某一种成像模态或单一退化类型优化。

在真实临床工作流程中，患者通常接受多种影像检查，不同图像可能同时受到多种退化因素影响。若针对每种情况分别部署专用模型，不仅增加系统维护成本，也需要人工判断退化类型并选择合适的处理策略。此外，不同模态的成像物理机制存在明显差异，直接迁移现有图像增强模型往往难以获得稳定效果。

因此，研究人员希望建立一种统一的医学图像恢复框架，使模型能够自动识别图像中的模态特征与退化模式，在无需人工选择专用模型的情况下实现高质量增强，并进一步验证其对疾病诊断和临床预后分析的实际价值。

研究人员构建了覆盖CT、MRI、PET、内镜、超声、眼底和X射线七种成像模态的大规模医学图像数据集，共包含3,765,591对高质量与退化图像，并根据不同成像机制模拟金属伪影、欠采样混叠、低剂量噪声、低照度、图像模糊、声学伪影及眼底反射伪影。基于该数据集，研究人员开发了AMIFound统一图像恢复框架，通过共享编码器提取多尺度空间特征和频域信息，并在解码阶段引入由傅里叶变换注意力专家、空间注意力专家、局部特征专家以及频域–卷积融合专家组成的动态专家池。模型根据输入图像的视觉特征和频率信息，通过上下文感知路由机制选择最相关的专家组合，实现针对不同模态和退化模式的自适应恢复。训练过程联合采用像素重建损失、频域一致性损失及专家负载平衡约束。研究人员通过峰值信噪比、结构相似性和感知质量指标进行客观评价，并邀请临床医生对图像清晰度、伪影、自然度和诊断信心进行评分。进一步使用真实临床退化图像、复合退化测试集、七种模态的疾病分类数据集以及非小细胞肺癌肿瘤分期与生存数据，验证模型的鲁棒性和临床应用潜力。

研究人员首先建立了大规模多模态医学图像恢复数据集，覆盖脑、肺、心脏、肝脏、肾脏、眼部及其他解剖区域，为统一学习不同成像模态的图像特征提供基础。

该数据集包含七种具有代表性的退化模式，分别对应不同医学成像技术中的常见质量问题。与传统针对单一任务设计的图像增强模型不同，AMIFound将不同模态的图像特征映射至共享潜在空间，同时保留模态特异性和退化相关信息。

模型的核心设计是动态专家恢复机制。共享编码器负责提取图像中的解剖结构、纹理和频率特征，动态路由模块则根据输入图像的特征选择合适的专家恢复路径，使不同图像能够调用不同的特征处理策略，而不必依赖人工指定退化类型。

这种设计使统一模型能够处理具有明显差异的图像恢复任务，包括CT金属伪影去除、MRI分辨率恢复、PET低剂量去噪、内镜低照度增强及X射线去模糊等。

为全面评估模型性能，研究人员构建了从客观图像质量、临床医生主观评价到复杂退化鲁棒性及下游临床任务的多层次验证体系，重点考察恢复后的图像是否保留真实解剖结构和疾病相关信息。

图1｜AMIFound多模态医学图像恢复基础模型的整体架构与验证流程。

研究人员首先将AMIFound与现有通用图像恢复模型进行比较，包括医学图像恢复模型AMIR，以及面向自然图像的Found-IR和MoCE-IR。为保证公平性，所有模型均在统一数据集和相同实验设置下进行重新训练与测试。结果显示，AMIFound在七种模态的峰值信噪比（PSNR）指标上均取得最佳表现，平均PSNR达到38.45 dB，表现出稳定的跨模态恢复能力。

与已有通用医学图像恢复方法相比，AMIFound在眼底图像伪影校正方面表现尤为突出，PSNR从19.70 dB提升至46.26 dB。在内镜和CT任务中，模型同样实现了显著改善，说明其能够有效处理复杂的光照变化和结构性伪影。

研究人员进一步将AMIFound与35种针对特定模态或退化任务开发的专用恢复模型比较。尽管这些专用模型可以针对单一任务优化参数，但AMIFound仍在所有七种模态中取得更高或具有竞争力的恢复精度。即使与各模态表现最好的专用模型相比，AMIFound的PSNR平均仍提高3.35 dB。

这种优势在复杂任务中更加明显，例如内镜低照度增强、CT金属伪影去除和眼底伪影校正。结果表明，共享特征学习与动态专家选择能够有效结合跨模态知识，同时保持针对不同退化模式的专门处理能力。

图2｜AMIFound与通用及模态专用医学图像恢复方法的跨模态性能比较。

除客观图像质量指标外，研究人员进一步通过视觉比较分析不同恢复模型对解剖结构和细微病理特征的影响。结果发现，现有方法虽然能够一定程度地降低噪声或改善图像亮度，但经常引入新的结构失真。例如，在内镜图像中，部分模型无法有效去除噪声，导致黏膜和细小血管难以辨认；在PET图像中，过度平滑可能削弱代谢活跃区域的边界；在X射线图像中，肋骨及软组织交界处的模糊仍然明显。

其他模态也存在不同问题。部分眼底增强方法会改变血管结构和病灶形态，超声增强模型可能产生不合理的颜色和灰度分布，而CT恢复模型甚至可能生成与真实解剖结构不一致的伪影。MRI增强过程中则可能因过度平滑而丢失细微组织边界。

相比之下，AMIFound能够更有效地恢复组织纹理、解剖边缘及局部对比度，生成更接近高质量参考图像的恢复结果。例如，在眼底图像中，其能够较好地保持血管连续性；在PET图像中，能够恢复代谢区域的结构对比度；在CT和MRI图像中，则能够减少明显伪影并保持解剖边界。

这些视觉结果说明，医学图像恢复的关键并不仅是提高整体清晰度，更需要避免引入可能影响疾病判断的虚假结构。

图3｜七种医学成像模态中不同恢复方法的视觉质量与解剖结构保真度比较。

为了进一步验证恢复图像的临床可用性，研究人员邀请具有相关专业背景的放射科医生、眼科医生、消化内镜医生及超声医生开展主观评价。评价采用五分制，综合考虑图像清晰度、伪影程度、自然度和诊断信心。结果显示，AMIFound在所有七种模态中均获得最高的恢复方法评分。

具体而言，AMIFound在内镜、X射线、超声、PET、眼底、MRI和CT图像上的平均评分分别达到3.74、4.53、3.97、4.22、3.88、3.25和3.72。这些结果明显优于多数专用恢复模型及通用图像增强模型。值得注意的是，在部分模态中，AMIFound恢复图像的评分已经接近甚至略高于高质量参考图像。例如，内镜图像的评分为3.74，高质量参考图像为3.73；CT图像分别为3.72和3.64；超声图像则均为3.97。

在诊断信心评价中，AMIFound同样表现出明显优势。经过增强的图像能够使临床医生更清晰地观察病灶边缘、组织纹理和重要解剖结构，从而提高对图像的主观诊断信心。这些结果说明，AMIFound的改进不仅体现在像素级重建指标上，也能够转化为临床医生可感知的图像质量提升。但较高的主观评分仍需结合病理真实性验证，不能单独证明所有恢复细节均完全准确。

图4｜临床医生对七种医学成像模态恢复质量及诊断信心的主观评价。

真实医学图像经常同时受到多种因素影响，因此研究人员进一步评估AMIFound在训练阶段未明确覆盖的复合退化场景中的表现。研究设计了两类具有代表性的复合退化任务，包括内镜图像中的低照度与运动模糊，以及PET图像中的噪声与模糊组合。

实验显示，AMIFound在两类任务中均取得最佳恢复性能，内镜图像PSNR达到32.45 dB，PET图像达到43.19 dB。与其他恢复模型相比，其重建误差更小，尤其能够更好地保留内镜黏膜纹理、微小血管结构以及PET代谢活跃区域的边界。

进一步分析恢复前后的像素强度分布发现，AMIFound增强图像的颜色直方图和灰度分布与高质量参考图像更加接近，表明模型在去除退化影响的同时，能够较好地保持原始成像特征。

研究人员还使用真实临床内镜和X射线图像进行外部验证。这些图像受到多种未知退化因素影响，并且缺乏配对高质量参考图像，因此采用无参考图像质量评价指标进行分析。结果显示，AMIFound在多种感知质量指标上均取得改善，说明该模型不仅适用于人工构建的受控退化数据，也能够在一定程度上适应真实临床环境中复杂且未知的图像质量问题。

图5｜AMIFound在复合图像退化及真实临床成像条件下的鲁棒性验证。

研究人员最后考察医学图像增强能否进一步提高下游临床人工智能模型的性能，而不仅停留在图像质量改善层面。首先，研究在七种医学成像模态上构建了44项疾病检测与分类任务，对比原始图像和AMIFound增强图像的诊断结果。实验发现，增强后的图像能够改善多个具有临床意义的疾病类别识别表现。例如，超声图像中的恶性病灶识别提高37.21个百分点，内镜图像中的溃疡性结肠炎识别提高18.00个百分点，CT图像中的社区获得性肺炎识别提高33.34个百分点，PET图像中的小细胞肺癌识别提高50.00个百分点。

从整体表现看，七种模态的平均诊断准确率均有所改善，综合平均提升约5.68个百分点。其中，PET任务的准确率从48.15%提高至70.73%，CT任务也取得明显提升，表明图像恢复可以改善后续模型对疾病相关视觉特征的识别能力。

随后，研究人员进一步将增强图像用于非小细胞肺癌（NSCLC）的肿瘤T分期预测。结果显示，相比原始图像，增强图像能够帮助分类网络更集中地关注肿瘤相关区域，并使不同分期对应的深层特征形成更加清晰的分布。在代表性病例中，模型由错误预测T1期转变为正确预测T2期，且预测置信度明显提高。

最后，研究人员利用增强图像提取的特征进行患者生存风险分层。Kaplan–Meier分析显示，增强图像使高风险和低风险患者群体的生存曲线分离更加明显，Log-rank检验的P值从0.010降低至0.002。

同时，生存预测的一致性指数（C-index）从0.6851提高至0.7152，说明增强图像所提取的特征能够改善患者个体层面的预后风险排序。这些发现表明，AMIFound不仅能够改善医学图像本身，还可以作为上游图像处理模块，为疾病分类、肿瘤分期和生存预测等临床人工智能任务提供更有效的信息表示。

图6｜AMIFound增强图像对疾病诊断、非小细胞肺癌分期及生存风险预测的影响。

本研究提出的AMIFound展示了统一医学图像恢复基础模型的可行性。与传统为不同成像模态分别开发专用模型的策略不同，AMIFound通过共享特征提取与动态专家路由，将多种医学成像退化任务整合至同一框架，从而减少对人工任务选择和独立模型部署的依赖。

该研究的重要价值还在于，将医学图像恢复的评价从单纯的视觉质量提升扩展至临床任务表现。通过结合客观重建指标、医生主观评价、真实临床退化测试及下游疾病诊断，研究人员证明图像增强能够在受测条件下改善疾病相关特征的可辨识性，并提升肿瘤分期及患者风险分层性能。

不过，AMIFound仍面临一定局限。首先，训练数据存在明显的模态分布不平衡，其中CT和MRI占据绝大多数样本，其他模态的覆盖仍然有限。其次，模型主要基于二维图像进行训练和验证，尚未充分利用三维医学影像的体积连续性与动态成像中的时间信息。

此外，尽管临床医生评价和结构保真度分析支持模型恢复结果的可靠性，但在真实应用中仍需警惕局部虚假结构生成、微小病灶被平滑消除及病变边界改变等风险。进一步开展多中心、跨设备和不同采集协议下的临床验证，将是推动该模型实际部署的重要步骤。

总体而言，AMIFound通过统一的多模态特征学习与动态专家恢复机制，实现了七种医学图像的高质量增强，并将图像质量改善延伸至疾病诊断和预后分析任务。该研究为构建可复用、可扩展的医学影像基础模型提供了新的技术方向，也为医学人工智能从单一任务模型向统一临床工作流程转变提供了参考。

Cao, L., Wu, Z., Zhang, J. et al. An all-in-one foundation model for multimodal medical image restoration and enhancement. Nat Mach Intell (2026). 

https://doi.org/10.1038/s42256-026-01310-z