Scene Graph Aided Radiology Report Generation

放射学报告生成（RRG）方法通常缺乏足够的医学知识来产生临床准确的报告。场景图包含丰富的信息来描述图像中的对象。我们探讨通过场景图丰富RRG的医学知识，这在当前的RRG文献中尚未完成。为此，我们提出了场景图辅助RRG（SGRRG）网络，这是一个框架，它生成区域级别的视觉特征，预测解剖属性，并利用自动生成的场景图，从而以端到端的方式实现医学知识蒸馏。SGRRG由一个专用的场景图编码器和一个场景图辅助解码器组成，负责翻译场景图，并利用区域级别和补丁级别的视觉信息。设计了一种细粒度的句子级注意方法，以更好地蒸馏场景图信息。广泛的实验表明，SGRRG在报告生成方面优于先前的最先进方法，并且可以更好地捕捉异常发现。

本论文旨在通过场景图来丰富医学知识，提高放射学报告生成的准确性。

论文提出了一种基于场景图的放射学报告生成网络（SGRRG），通过自动生成的场景图来进行医学知识蒸馏。

论文中设计了一个专门的场景图编码器和一个场景图辅助解码器，利用区域级别的视觉信息来生成区域级别的视觉特征和预测解剖属性。同时，采用了一种细粒度的句子级别的注意力机制来更好地提取场景图信息。实验结果表明，SGRRG在报告生成方面优于现有的方法，并且能够更好地捕捉异常发现。

近期的相关研究包括基于卷积神经网络（CNN）和递归神经网络（RNN）的放射学报告生成方法，如《Automated Radiology Report Generation Using a Convolutional Neural Network with Natural Language Processing》和《A Recurrent Neural Network for Automatic Radiology Report Generation》等。