Vision-Language Models for Medical Report Generation and Visual Question Answering: A Review

本文回顾了近期发展的医疗视觉语言模型（VLMs），这些模型结合了计算机视觉和自然语言处理，用于分析医疗领域的视觉和文本数据。我们着重介绍了针对医学报告生成和视觉问答设计的VLMs模型的最新进展。文章提供了自然语言处理和计算机视觉的背景，解释了如何将两个领域的技术整合到VLMs中，以实现从多模态数据中学习。我们讨论了医疗视觉语言数据集的探索，对最近值得关注的医疗VLMs的体系结构和预训练策略进行了深入分析，并全面讨论了评估指标，以评估VLMs在医学报告生成和视觉问答中的性能。我们还强调了当前的挑战，并提出了未来的方向，包括增强临床有效性和解决患者隐私问题。总的来说，我们的综述总结了开发VLMs以利用多模态医疗数据来改进医疗应用的最新进展。

本论文旨在回顾近期医疗领域专用视觉-语言模型（VLMs）的发展，重点关注医学报告生成和视觉问答方面的模型。同时探讨如何整合自然语言处理和计算机视觉领域的技术，以实现从多模态数据中进行学习。

论文提供了医学视觉-语言数据集的研究背景，详细分析了最近一些值得关注的医学VLMs的体系结构和预训练策略，并全面讨论了评估指标，以评估VLMs在医学报告生成和视觉问答方面的表现。

本论文还强调了当前的挑战，并提出了未来的方向，包括增强临床有效性和解决患者隐私问题。值得关注的是，本文的实验设计详细，使用了多个医学数据集，并提供了开源代码，为进一步研究提供了方便。

最近的相关研究包括《A Survey of the Usages of Deep Learning for Natural Language Processing》、《Deep Learning for Healthcare: Review, Opportunities and Challenges》等。