Holistic Evaluation of GPT-4V for Biomedical Imaging

本文介绍了一项大规模评估，探究了GPT-4V在生物医学图像分析方面的能力和局限性。GPT-4V代表了计算机视觉人工通用智能（AGI）的突破，具有在生物医学领域的应用。我们评估了GPT-4V在16个医学影像类别中的表现，包括放射学、肿瘤学、眼科学、病理学等。任务包括模态识别、解剖定位、疾病诊断、报告生成和病变检测。广泛的实验为我们提供了对GPT-4V的优劣势的见解。结果显示GPT-4V在模态和解剖识别方面表现出色，但在疾病诊断和定位方面存在困难。GPT-4V在诊断报告生成方面表现优异，表明其具有强大的图像字幕能力。虽然GPT-4V在生物医学影像AI方面很有前途，但在临床部署之前需要进一步增强和验证。我们强调负责任的开发和测试，以实现可信的生物医学AGI集成。这种对多模态大语言模型（LLM）在不同医学图像上进行的严格评估，推进了对其的理解，并指导未来的工作朝着有影响的医疗保健应用方向发展。

本文旨在评估GPT-4V在生物医学图像分析方面的能力和局限性，包括放射学、肿瘤学、眼科学、病理学等16个医学成像类别。试图了解GPT-4V在医学成像AI方面的应用前景和局限性。

本文通过对GPT-4V的大规模评估，发现其在成像模态和解剖学定位方面表现优秀，但在疾病诊断和定位方面存在困难。同时，GPT-4V在诊断报告生成方面表现优异，具有强大的图像字幕能力。

本文的实验设计详尽，使用了多个医学成像数据集。虽然GPT-4V在医学成像AI方面有潜力，但需要进一步增强和验证才能在临床应用中得到信任。值得进一步研究的方向是如何使GPT-4V在疾病诊断和定位方面表现更好。

最近在这个领域中，还有一些相关的研究，如《End-to-End Learning for Medical Image Analysis》、《Deep Learning for Medical Image Analysis: A Review》等。