Exploring Multilingual Large Language Models for Enhanced TNM classification of Radiology Report in lung cancer staging

背景：由于结构化放射学报告需要费力的结构化和叙述式报告，因此其发展尚不成熟。深度学习，特别是像GPT-3.5这样的大型语言模型，为自然语言自动化结构化放射学报告提供了希望。然而，虽然有报道称LLM在英语以外的语言中效果不佳，但它们在放射学方面的表现尚未得到广泛研究。目的：本研究旨在调查使用GPT3.5-turbo（GPT3.5）的放射学报告基于TNM分类的准确性，并探讨多语言LLM在日语和英语中的实用性。材料和方法：利用GPT3.5，我们开发了一个系统，用于自动生成肺癌胸部CT报告的TNM分类，并评估其性能。我们使用广义线性混合模型统计分析了在两种语言中提供完整或部分TNM定义的影响。结果：使用英语的放射学报告和完整的TNM定义获得了最高的准确性（M = 94％，N = 80％，T = 47％，ALL = 36％）。为T、N和M因素提供定义在统计上提高了它们各自的准确性（T：比值比（OR）= 2.35，p <0.001；N：OR = 1.94，p <0.01；M：OR = 2.50，p <0.001）。日语报告的N和M准确性下降（N准确性：OR = 0.74，M准确性：OR = 0.21）。结论：本研究强调了多语言LLM在放射学报告中自动进行TNM分类的潜力。即使没有额外的模型训练，提供的TNM定义也明显改善了性能，表明LLM在放射学上下文中具有相关性。

本文旨在探讨使用GPT3.5模型对肺癌胸部CT报告进行TNM分级的准确性和多语言性能。

使用GPT3.5模型结合提供TNM定义的方法，能够自动对肺癌胸部CT报告进行TNM分级，并取得较高的准确性。

本文使用GPT3.5模型自动生成TNM分级，并在英语和日语报告中进行了测试。结果显示，提供完整的TNM定义可以显著提高TNM分级的准确性。值得注意的是，日语报告的N和M的准确性相对较低。

在此领域中，也有其他相关研究，如《基于深度学习的医学影像分析综述》、《基于深度学习的医学影像分类研究》等。