MAIRA-2: Grounded Radiology Report Generation

放射学报告是一项复杂的任务，需要详细的图像理解、多个输入的整合（包括与之前的影像比较）和精确的语言生成。这使得它非常适合开发和使用生成式多模型。在这里，我们将报告生成扩展到包括在图像上定位单个发现的任务，我们称之为基于实际情况的报告生成。先前的研究表明，基于实际情况的报告对于澄清图像理解和解释AI生成的文本非常重要。因此，基于实际情况的报告有望提高自动报告草拟的实用性和透明度。为了评估基于实际情况的报告，我们提出了一个新颖的评估框架RadFact，利用大型语言模型（LLMs）的推理能力。RadFact评估单个生成的句子的事实性，以及当存在时生成的空间定位的正确性。我们引入了MAIRA-2，这是一个大型多模型，将放射学特定的图像编码器与LLM相结合，并针对胸部X光片的基于实际情况的报告生成进行了训练。MAIRA-2使用比以前探索的更全面的输入：当前的正面图像、当前的侧面图像、之前的正面图像和报告，以及当前报告的指示、技术和比较部分。我们证明，这些补充显著提高了报告质量并减少了幻觉，在MIMIC-CXR上建立了一个新的发现生成（没有基于实际情况的报告）的最新技术水平，同时证明了基于实际情况的报告作为一项新的、更丰富的任务的可行性。

论文旨在扩展放射学报告的生成，包括在图像上定位单个发现物的任务，从而提高自动报告起草的效用和透明度。

论文提出了一种新的任务——基于图像定位的报告生成，并介绍了一种新的评估框架RadFact，利用大型语言模型（LLMs）的推理能力来评估生成的句子的事实性以及正确性。

论文提出了MAIRA-2，这是一种大型多模型，结合了放射学特定的图像编码器和LLM，并在胸部X射线上进行了基于图像定位的报告生成的训练。MAIRA-2使用的输入比以前探索的更全面，这些新增的输入显著提高了报告质量，减少了幻觉，并在MIMIC-CXR上建立了新的技术水平。

在最近的相关研究中，也有一些关于放射学报告生成的研究，例如：《Generating Radiology Reports via Memory-Augmented Neural Networks》、《Automated Radiology Report Generation Using Deep Learning》等。