TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction

传统中药依靠特定的草药组合来治疗症状和体征，这一做法已经有数千年的历史。预测中药处方是一个有实际意义的、极具挑战性的技术问题。然而，由于高质量临床数据集的稀缺和症状与草药之间错综复杂的关系，这项任务面临着限制。为了解决这些问题，我们引入了一个名为DigestDS的新数据集，其中包含来自消化系统疾病经验专家的实际医疗记录。我们还提出了一种方法TCM-FTP（TCM Fine-Tuning Pre-trained），通过在DigestDS上进行监督微调，利用预训练的大型语言模型（LLMs）。此外，我们使用低秩适应技术增强计算效率。TCM-FTP还通过排列处方中的草药，利用其无序的属性进行数据增强。令人印象深刻的是，TCM-FTP实现了0.8031的F1得分，显著超过了以前的方法。此外，它在剂量预测方面表现出了出色的准确性，实现了0.0604的标准化均方误差。相比之下，没有进行微调的LLMs表现不佳。尽管LLMs在各种任务上表现出了能力，但这项工作说明了微调对于中药处方预测的重要性，并提出了一种有效的方法。

解决问题：论文尝试解决中药方剂预测的问题，通过提出一种基于预训练模型的中药方剂预测方法来解决数据集缺乏和症状与草药之间关系复杂的问题。

关键思路：论文提出了一种名为TCM-FTP的方法，利用预训练的大型语言模型进行有监督的微调，以预测中药方剂。此外，还使用了低秩适应技术来提高计算效率，并通过草药排列的数据增强来利用其无序性质。

其他亮点：论文引入了一个新的数据集DigestDS，其中包含了实践经验丰富的专家对消化系统疾病的医疗记录。实验结果表明，TCM-FTP在F1分数和剂量预测方面都表现出色，比以前的方法显著优越。此外，论文还强调了微调对中药方剂预测的重要性，并提出了一种有效的方法。

相关研究：最近的相关研究包括使用深度学习方法预测中药方剂的研究，如“TCM-DNN”和“TCM-Keras”，以及使用传统机器学习方法预测中药方剂的研究，如“TCM-MAR”。