GREEN: Generative Radiology Report Evaluation and Error Notation

评估放射学报告是一个具有挑战性的问题，因为事实的正确性非常重要，需要准确传达医学图像的信息。现有的自动评估指标要么无法考虑事实的正确性（例如BLEU和ROUGE），要么在解释性方面存在局限性（例如F1CheXpert和F1RadGraph）。在本文中，我们介绍了GREEN（生成放射学报告评估和错误注释），这是一种放射学报告生成指标，利用语言模型的自然语言理解能力，定量和定性地识别和解释候选报告中的临床显著错误。与当前指标相比，GREEN具有以下优点：1）与专家偏好相一致的得分，2）临床显著错误的人类可解释性解释，使得与最终用户的反馈循环成为可能，3）轻量级开源方法，达到商业同行的性能水平。我们通过将其与GPT-4以及6位专家的错误计数和2位专家的偏好进行比较，验证了我们的GREEN指标。与以前的方法相比，我们的方法不仅与专家错误计数相关性更高，而且与专家偏好同时更加一致。

GREEN（Generative Radiology Report Evaluation and Error Notation）这篇论文试图解决的问题是如何评估放射学报告的质量，特别是如何考虑到事实的正确性，同时提供易于理解的解释和反馈机制。

论文提出了一种基于自然语言处理的放射学报告评估指标GREEN，该指标可以定量和定性地识别和解释候选报告中的临床显著错误，并且与专家的偏好高度一致。

GREEN指标具有以下亮点：1）与专家偏好高度一致的评分；2）可以提供易于理解的临床显著错误的解释，实现与最终用户的反馈循环；3）是一个轻量级的开源方法，具有商业同类方法的性能。论文使用GPT-4、6位专家的错误计数和2位专家的偏好进行验证，结果表明GREEN指标与专家错误计数的相关性更高，同时与专家偏好的一致性更高。

在这个领域中，还有一些相关的研究，如基于BLEU和ROUGE的自动评估指标，以及F1CheXpert和F1RadGraph等限制解释性的指标。