Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning

放射学报告生成（RRG）因其有可能减轻放射科医生的工作量而受到了广泛关注。然而，目前的RRG方法仍未达到临床标准。本文介绍了一种新颖的RRG方法，称为\textbf{LM-RRG}，它将大型模型（LMs）与临床质量强化学习相结合，以生成准确和全面的胸部X射线放射学报告。我们的方法首先设计了一个大型语言模型驱动的特征提取器，以分析和解释胸部X射线图像的不同区域，并强调具有医学意义的特定区域。接下来，基于大模型的解码器，我们开发了一个多模态报告生成器，利用视觉特征和文本指令的多模态提示，以自回归的方式生成放射学报告。最后，为了更好地反映放射科医生通常在报告中指定的临床重要和不重要的错误，我们引入了一种新颖的临床质量强化学习策略。它利用放射学报告临床质量（RadCliQ）指标作为学习过程中的奖励函数。在MIMIC-CXR和IU-Xray数据集上的大量实验表明，我们的方法优于现有技术水平。

LM-RRG: 一种新的基于大模型和临床质量强化学习的胸部X光辐射学报告生成方法

本文提出了一种新的RRG方法，即LM-RRG，它将大模型与临床质量强化学习相结合，以生成准确和全面的胸部X光辐射学报告。该方法首先设计了一个大语言模型驱动的特征提取器来分析和解释胸部X光图像的不同区域，强调具有医学意义的特定区域。接下来，基于大模型的解码器，我们开发了一种多模态报告生成器，利用来自视觉特征和文本指令的多模态提示以自回归方式生成放射学报告。最后，为了更好地反映放射学家通常在报告中分配的临床重要和不重要的错误，我们引入了一种新的临床质量强化学习策略。它利用放射学报告临床质量（RadCliQ）指标作为学习过程中的奖励函数。

本文的实验在MIMIC-CXR和IU-Xray数据集上进行，结果表明该方法优于现有技术。值得关注的是，该方法使用了大模型和临床质量强化学习相结合的方法，以生成准确和全面的报告。

最近在这个领域中，还有一些相关的研究，如《ChestX-ray8:医学图像标注和报告数据集》和《Deep Learning for Medical Image Analysis: Overview, Challenges and Future》等。