Fact-Aware Multimodal Retrieval Augmentation for Accurate Medical Radiology Report Generation

多模态基础模型在自动生成放射学报告方面具有重要的潜力，从而帮助临床医生诊断心脏疾病。然而，生成的报告经常存在严重的事实不准确性。在本文中，我们介绍了一种基于事实感知的多模态检索增强管道来生成准确的放射学报告（FactMM-RAG）。我们首先利用RadGraph挖掘事实报告对，然后整合事实知识来训练一个通用的多模态检索器。给定一张放射学图像，我们的检索器可以识别高质量的参考报告，以增强多模态基础模型，从而增强报告生成的事实完整性和正确性。在两个基准数据集上的实验证明，我们的多模态检索器在语言生成和放射学特定指标方面优于最先进的检索器，F1CheXbert和F1RadGraph分别提高了6.5％和2％的得分。进一步的分析表明，采用我们的基于事实的训练策略可以施加有效的监督信号，而不依赖于显式的诊断标签指导，并成功将事实感知能力从多模态检索器传播到放射学报告生成的多模态基础模型中。

论文旨在解决利用多模态基础模型生成心脏疾病放射学报告时存在的事实不准确问题。

论文提出了一种基于事实感知的多模态检索增强方法，通过整合事实知识训练通用的多模态检索器，从而提高报告的事实完整性和正确性。

论文使用RadGraph挖掘事实报告对，训练多模态检索器，实验结果表明该方法在语言生成和放射学特定指标上优于现有方法，且不需要显式的诊断标签指导。

近期相关研究包括：'Multimodal Transformer for Unaligned Multimodal Language Sequences'，'Towards Accurate Diagnosis of Pulmonary Hypertension via Multi-Modal Deep Learning'等。