GPT-4V Cannot Generate Radiology Reports Yet

GPT-4V据称具有强大的多模态能力，引起了将其用于自动化放射学报告撰写的兴趣，但缺乏深入评估。在本文中，我们对GPT-4V在两个胸部X射线报告数据集（MIMIC-CXR和IU X-Ray）上生成放射学报告进行了系统评估。我们尝试通过不同的提示策略直接使用GPT-4V生成报告，并发现它在词汇度量和临床有效度度量方面都表现极差。为了理解低性能，我们将任务分解为两个步骤：1）从图像预测医疗状况标签的医学图像推理步骤；2）从（基础）条件生成报告的报告合成步骤。我们表明，GPT-4V在图像推理方面的表现在不同提示下始终很低。实际上，模型预测的标签分布保持不变，无论图像上存在哪些基础条件，这表明模型没有有意义地解释胸部X射线。即使在报告合成中提供基础条件，其生成的报告也比经过微调的LLaMA-2更不正确且听起来不够自然。总之，我们的发现对于将GPT-4V用于放射学工作流程的可行性存在疑虑。

GPT-4V在放射学报告撰写自动化方面的可行性问题

通过系统评估发现GPT-4V在生成放射学报告方面表现不佳，其在医学图像推理方面的性能持续低下，这表明GPT-4V在放射学工作流中的可行性值得怀疑。

论文使用MIMIC-CXR和IU X-Ray两个数据集进行实验，通过不同的提示策略直接使用GPT-4V生成报告，结果发现GPT-4V在词汇和临床有效性指标方面表现极差。论文还将任务分解为医学图像推理和报告合成两个步骤，发现GPT-4V在医学图像推理方面的表现一直很差。最终，论文发现GPT-4V生成的报告比经过微调的LLaMA-2生成的报告更不正确和不自然。

最近的相关研究主要集中在使用深度学习技术自动化放射学报告撰写方面，例如使用卷积神经网络（CNN）进行医学图像推理和使用自然语言处理（NLP）技术生成报告。相关论文包括“Automated Radiology Report Generation Using a Hybrid Natural Language Processing and Deep Learning Model”和“Chest X-Ray Report Generation Using Convolutional Neural Networks and Conditional Random Fields”。