Direct Preference Optimization for Suppressing Hallucinated Prior Exams in Radiology Report Generation

最近生成式视觉语言模型（VLMs）的进展对放射学人工智能有着令人兴奋的潜在影响，但是已知VLMs也会产生幻觉、无意义的文本和其他不良行为，这些行为会浪费临床医生的时间并对患者造成伤害。我们借鉴了最近关于直接偏好优化（DPO）的研究成果，提出了一种简单的方法，通过抑制不需要的生成类型来修改预训练的VLMs在放射学报告生成中的行为。我们将方法应用于预防先前检查的幻觉，解决了在进行胸部X射线报告生成的模型中长期存在的问题行为。在我们的实验中，我们发现DPO微调可以将幻觉先前检查的行数减少3.2-4.8倍，同时保持模型在临床准确性指标上的表现。据我们所知，我们的工作是第一次将DPO应用于医学VLMs，提供了一种数据和计算效率高的方法，可以抑制问题行为，同时保持整体临床准确性。

本文试图通过直接偏好优化（DPO）的方法，解决预训练的生成视觉语言模型（VLMs）在放射学报告生成中产生幻觉、无意义文本等问题，从而减少患者伤害和医生浪费时间的情况。

本文提出了一种简单的方法，通过对VLMs进行DPO微调，抑制生成不良行为，特别是幻觉问题。实验结果表明，这种方法可以在保持模型性能的同时，将幻觉行为减少3.2-4.8倍。

本文是首次将DPO应用于医学VLMs的研究，提供了一种数据和计算效率高的方法，可以抑制问题行为而不影响整体临床准确性。实验使用了胸部X射线数据集，并开源了代码。

近期的相关研究包括利用VLMs生成医学图像报告的研究，例如《Automated Radiology Report Generation Using a Convolutional-Deconvolutional Neural Network with Natural Language Processing》。