医学报告生成｜基于内存驱动的Transformer生成放射学报告（EMNLP-2020） 【论文标题】Generating Radiology Reports via Memory-driven Transformer 【医学报告生成】基于内存驱动的Transformer生成放射学报告（EMNLP-2020） 【作者团队】Zhihong Chen, Yan Song, Tsung-Hui Chang, Xiang Wan 【发表时间】2020/10/30 【代码链接】https://github.com/cuhksz-nlp/R2Gen 【论文链接】https://arxiv.org/abs/2010.16056 【推荐理由】   本文收录于EMNLP 2020会议，来自香港中文大学(深圳)的研究人员提出基于内存驱动的Transformer，设计了关系内存用以记录生成过程的关键信息并整合到解码器中，从而生成更优质的放射学报告。   医学成像在临床实践和实验中经常用于诊断和治疗，医生撰写放射学报告非常耗时而且容易出错，因此非常需要自动生成放射学报告以减轻放射科医生的工作量，从而促进临床自动化。   但是，由于放射学报告都是由多个句子构成的冗长记录(包括医学观察结果：正常和异常特征、印象和总结最突出的观察结果)，因此放射学报告生成和传统图像描述生成存在比较大的差异，因为传统图像描述生成方法通常只是设计模型用来简短描述视觉场景内容。同时，放射学报告对相应临床描述的准确性有着非常高的要求，从而导致了放射学报告生成任务的困难性。   目前现有的方法根据放射学报告高度模式化的特性设计了各种基于检索的方法，并且取得了不错的性能，但是这些方法很局限于大数据集的准备或模版列表的显式构建：用以确定不同报告中嵌入模式。   基于上述问题，作者提出了基于内存驱动的Transformer，设计关系内存（RM）用以记录来自之前生成过程信息，同时设计了基于内存的条件归一化层（MCLN）用以整合关系内存信息到Transformer的解码器端（如图），从而使得不同医学报告的相似模式可以在生成过程被隐式地建模和存储，从而帮助Transformer解码生成内容丰富的长报告。   最后，在IU X-Ray和MIMIC-CXR的两个数据集上进行实验可以看出本文方法在生成语言评测指标和临床评测中都明显高于之前的方法，进一步说明了方法的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除