MiniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis

最近人工智能领域的进展促成了医疗保健领域的重大突破，特别是在改进诊断程序方面。然而，以往的研究通常受到功能的限制。本研究介绍了MiniGPT-Med，这是一个源自大规模语言模型并专为医疗应用定制的视觉语言模型。MiniGPT-Med在各种成像模式（包括X光、CT扫描和MRI）中展现了显著的多功能性，增强了其实用性。该模型能够执行医学报告生成、视觉问答（VQA）和医学影像中的疾病识别等任务。它对图像和文本临床数据的集成处理显著提高了诊断准确性。我们的实证评估证实了MiniGPT-Med在疾病基础、医学报告生成和VQA基准测试中的卓越表现，这是朝着减少辅助放射学实践差距的重要一步。此外，它在医学报告生成方面实现了最先进的性能，比先前最佳模型高出19％的准确性。MiniGPT-Med有望成为放射诊断的通用界面，增强各种医学成像应用的诊断效率。

介绍MiniGPT-Med，一个针对医学应用的视觉语言模型，旨在提高医学图像诊断的准确性和效率。

MiniGPT-Med整合了图像和文本临床数据，可执行医疗报告生成、视觉问答和医学图像中的疾病识别等任务。该模型在疾病识别、医疗报告生成和视觉问答基准测试中表现出优越性能。

实验结果显示，MiniGPT-Med在医疗报告生成方面的表现超过了先前最佳模型19％的准确率。该模型可用于各种成像模式，包括X射线、CT扫描和MRI。值得关注的是，MiniGPT-Med的开发为放射学诊断提供了一个通用接口，可以提高医学成像应用的诊断效率。

最近的相关研究包括：1）Vision-Language Pre-training for Medical VQA with Limited Annotations；2）Improving Medical Visual Question Answering with External Knowledge.