Automated radiotherapy treatment planning guided by GPT-4Vision

放射治疗计划是一项耗时且可能具有主观性的过程，需要迭代地调整模型参数以平衡多个相互冲突的目标。最近大型基础模型的进展为解决计划和临床决策制定中的挑战提供了有希望的途径。本研究介绍了GPT-RadPlan，这是一个完全自动化的治疗计划框架，利用编码在多模态大型语言模型中的先前放射肿瘤学知识，例如OpenAI的GPT-4Vision（GPT-4V）。GPT-RadPlan意识到计划方案的上下文并充当专家人类规划者，能够引导治疗计划过程。通过上下文学习，我们将各种疾病部位的临床方案作为提示，以使GPT-4V能够获得治疗计划领域知识。由此产生的GPT-RadPlan代理通过API集成到我们的内部逆向治疗计划系统中。使用多个前列腺和头颈癌症例子展示了自动化计划系统的有效性，我们将GPT-RadPlan的结果与临床计划进行了比较。在所有情况下，GPT-RadPlan要么优于要么与临床计划相匹配，展示了优越的目标覆盖和器官风险保护。始终满足临床方案中的剂量学目标，GPT-RadPlan代表了第一个多模态大型语言模型代理，模仿放射肿瘤学临床中人类规划者的行为，在不需要额外培训的情况下实现了自动化治疗计划过程的显著结果。

本论文试图解决放射治疗计划的时间消耗和主观性问题，提出了利用多模态大语言模型进行自动化治疗计划的框架。

GPT-RadPlan是一种完全自动化的治疗计划框架，利用先前编码在多模态大语言模型中的放射肿瘤学知识，并通过上下文学习来整合各种疾病部位的临床方案，作为专家人类计划者，引导治疗计划过程。

论文展示了多个前列腺癌和头颈癌病例的自动化计划系统的有效性，并将GPT-RadPlan结果与临床计划进行了比较，结果表明GPT-RadPlan要么优于临床计划，要么与之匹配，表现出更好的目标覆盖和器官风险保护。

最近的相关研究包括利用深度学习进行放射治疗计划的自动化，如DeepQA、DoseNet和PlanIQ。