Ultrasound Report Generation with Cross-Modality Feature Alignment via Unsupervised Guidance

自动报告生成已经成为计算机辅助诊断领域中一个重要的研究方向，旨在通过基于医学图像自动生成报告来减轻临床医生的负担。在这项工作中，我们提出了一个新颖的自动超声报告生成框架，利用无监督和监督学习方法的组合来辅助报告生成过程。我们的框架采用无监督学习方法从超声文本报告中提取潜在知识，作为先验信息来指导模型对齐视觉和文本特征，从而解决特征不一致的挑战。此外，我们设计了一个全局语义比较机制，以增强生成更全面和准确的医疗报告的性能。为了实现超声报告的生成，我们构建了三个不同器官的大规模超声图像-文本数据集用于训练和验证。与其他最先进的方法进行的广泛评估表明，我们的方法在所有三个数据集上表现出优异的性能。代码和数据集可在此链接中获得。

自动超声报告生成

结合无监督和监督学习方法，利用超声文本报告提取先验知识，设计全局语义比较机制，解决视觉和文本特征不一致的问题，提高生成报告的综合准确性和全面性。

使用三个大规模的超声图像-文本数据集进行训练和验证，实验结果优于其他最先进的方法，代码和数据集均已开源。

近期的相关研究包括：1. "A survey on deep learning in medical image analysis"；2. "Automatic classification of breast lesions in ultrasound imaging using deep transfer learning"；3. "Ultrasound image classification using deep features and extreme learning machine"。