CancerLLM: A Large Language Model in Cancer Domain

医学大型语言模型（LLM），如ClinicalCamel 70B、Llama3-OpenBioLLM 70B，在各种医学自然语言处理任务上展现出了令人瞩目的表现。然而，仍然缺乏一个专门针对癌症领域设计的大型语言模型（LLM）。此外，这些LLM通常具有数十亿的参数，使它们在医疗保健系统中的计算代价很高。因此，在本研究中，我们提出了CancerLLM，这是一个具有70亿参数和Mistral风格架构的模型，预训练于2676642个临床记录和515524个涵盖17种癌症类型的病理报告，然后在三个与癌症相关的任务上进行微调，包括癌症表型提取、癌症诊断生成和癌症治疗计划生成。我们的评估表明，与其他现有的LLM相比，CancerLLM取得了最先进的结果，平均F1分数提高了8.1\%。此外，CancerLLM在两个提出的鲁棒性测试中表现优于其他模型。这说明CancerLLM可以有效地应用于临床AI系统，增强癌症领域的临床研究和医疗保健服务。

本论文旨在提出一个专门针对癌症领域的大型语言模型CancerLLM，并通过对三个癌症相关任务的微调，验证其在临床AI系统中的应用价值。

CancerLLM采用Mistral-style架构，使用2676642份临床笔记和515524份病理报告进行预训练，覆盖17种癌症类型，并在三个癌症相关任务上进行微调，取得了比其他现有LLMs更好的效果。

论文使用了大量的临床数据集进行预训练和微调，并在两个鲁棒性测试中取得了良好的结果。CancerLLM的性能优于其他现有模型，平均F1分数提高了8.1％。这篇论文提出的CancerLLM模型可以应用于临床AI系统，有望提高癌症领域的临床研究和医疗服务。

近年来，在癌症领域中也有其他相关的研究，例如“ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission”和“Deep learning for cancer diagnosis and prognosis: A review”.