Contrastive Learning with Counterfactual Explanations for Radiology Report Generation

由于解剖学内容的共同性，放射学图像及其对应的报告具有很高的相似性。这种内在的数据偏差可能使自动生成报告模型学习到纠缠和虚假的表示，导致误诊报告。为了解决这些问题，我们提出了一种基于反事实解释的放射学报告生成框架（CoFE）。反事实解释是一种强大的工具，可以帮助我们理解算法决策如何通过提出“如果”场景来进行更改。通过利用这个概念，CoFE可以通过对实际图像和反事实图像之间的表示进行对比来学习非虚假的视觉表示。具体而言，我们通过在正样本和负样本之间交换补丁直到发生预测的诊断变化来推导反事实图像。这里，正样本和负样本是最具有语义相似性但具有不同诊断标签的样本。此外，CoFE采用可学习的提示来有效地微调预训练的大型语言模型，封装了实际和反事实内容，以提供更具有通用性的提示表示。在两个基准测试上进行的广泛实验表明，利用反事实解释使CoFE能够生成语义连贯、事实完整的报告，并在语言生成和临床效果指标方面优于其他方法。

解决由于解剖学常识导致的数据偏差，提高放射学报告生成的准确性和可解释性。

利用反事实解释的思想，通过对正负样本进行补丁交换来生成对抗图像，学习非混杂和非虚假的视觉表示，从而提高放射学报告的生成准确性和可解释性。

论文提出了一种基于反事实解释的框架（CoFE）来生成放射学报告，包括了可解释性和准确性的考虑。实验结果表明，CoFE可以生成语义连贯、完整的报告，并在语言生成和临床效果指标方面优于其他方法。

与该论文相关的研究包括：1.《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》；2.《Pre-training of Deep Bidirectional Transformers for Language Understanding》等。