RAD-PHI2: Instruction Tuning PHI-2 for Radiology

小型语言模型（SLMs）在一般领域的语言理解、推理和编码任务中表现出了卓越的性能，但它们在医学领域，尤其是放射学文本方面的能力还未得到充分探索。本研究探讨了SLMs在一般放射学知识方面的应用，特别是与症状理解、放射学发现的外观、鉴别诊断、评估预后以及针对不同器官系统的疾病的治疗建议相关的问题回答。此外，我们还探讨了SLMs在处理与放射学报告相关的文本任务方面的效用，以支持AI驱动的放射学工作流程。我们使用来自Radiopaedia的高质量教育内容对Phi-2进行微调，Phi-2是一个具有27亿个参数的SLM。所得到的语言模型RadPhi-2-Base表现出了应对不同系统（例如胸部、心脏）的一般放射学查询的能力。此外，我们还研究了Phi-2的指令调整，使其能够执行特定任务。通过在一般领域任务和与胸部X射线报告相关的放射学特定任务上微调Phi-2，我们创建了Rad-Phi2。我们的实证结果表明，Rad-Phi2 Base和Rad-Phi2在提供简明精确答案方面表现出与更大模型（如Mistral-7B-Instruct-v0.2和GPT-4）相当甚至更好的性能。总之，我们的工作证明了在放射学工作流程中利用SLMs进行知识相关查询以及执行与放射学报告相关的特定任务的可行性和有效性，从而开辟了提高放射学实践质量和效率的新途径。

本文旨在探索使用小型语言模型（SLMs）在放射学文本中进行问题回答的应用，并研究SLMs在放射学工作流中处理文本相关任务的效用。

本文使用2.7亿参数的Phi-2模型，通过对Radiopaedia的高质量教育内容进行微调，创建了RadPhi-2-Base和Rad-Phi2模型，用于回答与不同器官系统相关的放射学问题，并处理放射学报告相关任务。

实验结果表明，Rad-Phi2 Base和Rad-Phi2模型的表现与更大的模型（如Mistral-7B-Instruct-v0.2和GPT-4）相当甚至更好，提供简明而精确的答案。这项工作证明了在放射学工作流中利用SLMs进行知识相关查询以及执行放射学报告相关任务的可行性和有效性。

近期的相关研究还包括使用自然语言处理技术来自动化放射学报告生成和分析的工作，如“Automated Radiology Report Generation Using Deep Learning”和“Automated Analysis of Free-Text Radiology Reports for Quality Control”。