Factual Serialization Enhancement: A Key Innovation for Chest X-ray Report Generation

自动撰写医学成像报告是减轻放射科医生工作负担的有价值工具。该过程中的关键步骤包括医学图像和报告之间的跨模态对齐，以及类似历史病例的检索。然而，报告中存在演示样式词汇（例如句子结构和语法），这给跨模态对齐带来了挑战。此外，现有的类似历史病例检索方法由于存在模态差距问题而面临亚优化性能的问题。为此，本文介绍了一种名为“事实序列化增强”（FSE）的新方法，用于胸部X射线报告生成。FSE采用结构实体方法开始，以消除报告中的演示样式词汇，为我们的模型提供特定的输入。然后，通过图像和报告中的事实序列化进行跨模态对齐来学习单模特征。随后，我们提出了一种新的方法，利用对齐的图像特征从训练集中检索类似历史病例。这些特征隐含地保留了与其对应参考报告的语义相似性，使我们能够仅在对齐特征之间计算相似性，从而有效地消除了知识检索中的模态差距问题，而无需疾病标签。最后，交叉模态融合网络用于从这些病例中查询有价值的信息，丰富图像特征并帮助文本解码器生成高质量的报告。在MIMIC-CXR和IU X射线数据集的特定和一般情况下进行的实验表明，FSE在自然语言生成和临床效果指标方面均优于现有技术。

本论文旨在解决医学成像报告自动生成中的跨模态对齐和历史病例检索问题，同时克服报告中的表述风格词汇对齐的挑战。

该论文提出了一种名为Factual Serialization Enhancement（FSE）的新方法，通过结构实体方法消除报告中的表述风格词汇，然后通过对齐图像和报告中的事实序列来学习单模态特征，最后利用交叉模态融合网络从历史病例中查询有价值的信息，生成高质量的报告。

该论文在MIMIC-CXR和IU X-ray数据集上进行了实验，并展示了FSE在自然语言生成和临床效能指标方面优于现有方法的结果。该论文的亮点包括：使用结构实体方法消除报告中的表述风格词汇，提出了一种新的历史病例检索方法，利用交叉模态融合网络从历史病例中查询有价值的信息，提高了报告生成的质量。

最近在这个领域中，还有一些相关的研究，如《Cross-Modality Synthesis from CT to PET using Deep Convolutional Neural Networks》和《Multi-Task Learning for Lung Cancer Diagnosis with Chest X-Ray Images》等。