A Survey of Deep Learning-based Radiology Report Generation Using Multimodal Data

自动放射学报告生成可以减轻医生的工作量，减少医疗资源的区域差异，因此成为医学图像分析领域的重要课题。这是一项具有挑战性的任务，因为计算模型需要模仿医生从多模态输入数据（即医学图像、临床信息、医学知识等）中获取信息，并生成综合准确的报告。最近，许多工作采用基于深度学习的方法来解决这个问题，例如变压器、对比学习和知识库构建。本文总结了最近工作中开发的关键技术，并提出了一个基于深度学习的报告生成的通用工作流程，包括多模态数据采集、数据准备、特征学习、特征融合/交互和报告生成等五个主要组成部分。重点介绍了每个组成部分的最新方法。此外，还总结了训练策略、公共数据集、评估方法、当前挑战和未来方向。本文还在相同的实验设置下对不同方法进行了定量比较。这是目前关注多模态输入和数据融合的放射学报告生成的最新调查。旨在为对自动临床报告生成和医学图像分析感兴趣的研究人员提供全面丰富的信息，特别是在使用多模态输入时，并协助他们开发新的算法来推动该领域的发展。

自动放射学报告生成是医学图像分析领域的重要课题，旨在减轻医生的工作负担并减少医疗资源的地区差异。本文总结了最近一些采用深度学习方法解决这一问题的关键技术，并提出了一个基于深度学习的报告生成通用工作流程，包括多模态数据获取、数据准备、特征学习、特征融合/交互和报告生成。同时，本文总结了训练策略、公共数据集、评估方法、当前挑战和未来方向等内容。

本文提出了一个基于深度学习的报告生成通用工作流程，包括多模态数据获取、数据准备、特征学习、特征融合/交互和报告生成。同时，本文提出了一些新的深度学习方法，如transformers、对比学习和知识库构建。

本文总结了最近一些采用深度学习方法解决放射学报告生成问题的关键技术，并进行了实验评估。同时，本文提供了公共数据集和开源代码。未来研究方向包括更好的数据集、更好的模型、更好的评估方法和更好的应用场景。

最近在这个领域中，还有一些相关的研究，如《Deep Learning for Automated Diagnosis of Cardiovascular and Lung Diseases Using Chest X-rays: A Systematic Review and Meta-analysis》、《Deep Learning for Medical Image Analysis: A Review》等。