X-ray Made Simple: Radiology Report Generation and Evaluation with Layman's Terms

放射学报告生成（RRG）在多模态生成模型的进步下取得了显著进展。然而，在这个领域的评估却缺乏公正和稳健的度量标准。我们揭示了现有基于词汇的度量标准（如BLEU）在RRG上的高性能可能更多是一种幻觉——模型只能通过学习报告模板来获得高BLEU。由于这些报告具有高度模式化的特性，这已成为RRG的紧迫问题。在这项工作中，我们通过提出Layman's RRG框架来非直观地解决这个问题，这是一个基于小白语言的数据集、评估和训练框架，系统地提高了RRG的日常语言水平。我们首先贡献了翻译后的小白术语数据集。在此基础上，我们提出了一种基于语义的评估方法，证明了它可以缓解BLEU的膨胀数字，提供更公正的评估。最后，我们展示了在小白术语数据集上的训练鼓励模型关注报告的语义，而不是过度拟合于学习报告模板。我们揭示了一个有前途的比例定律，即相对于原始格式带来的反向模式，我们的数据集提供的语义增益与训练示例数量之间存在着有前途的比例定律。我们的代码可在\url{https://github.com/hegehongcha/LaymanRRG}上找到。

论文试图解决评估放射学报告生成（RRG）模型的公平性和鲁棒性问题，通过提出Layman's RRG框架解决BLEU等基于词汇的评估指标可能存在的问题。

Layman's RRG框架包括Layman's terms数据集、基于语义的评估方法和基于语义的训练框架。通过Layman's terms数据集和基于语义的评估方法，可以更好地评估RRG模型的性能，避免过度拟合报告模板。同时，基于语义的训练框架可以鼓励模型关注报告的语义。

论文提出的Layman's RRG框架可以更好地评估和训练RRG模型，从而提高模型的性能。实验结果表明，使用Layman's terms数据集和基于语义的评估方法可以减轻BLEU等基于词汇的评估指标可能存在的问题，并且可以鼓励模型关注报告的语义。论文代码已经在GitHub上开源。

最近的相关研究包括基于多模态生成模型的RRG模型和基于深度学习的自然语言处理技术在RRG领域的应用。