Tx-LLM: A Large Language Model for Therapeutics

开发治疗方法是一个漫长而昂贵的过程，需要满足许多不同的标准，能够加快这一过程的人工智能模型将非常宝贵。然而，目前大多数人工智能方法只针对一个狭窄定义的任务集，往往局限于特定领域。为了弥补这一差距，我们引入了Tx-LLM，这是一个从PaLM-2微调的通用大型语言模型（LLM），它编码了关于多种治疗模式的知识。Tx-LLM使用709个数据集训练，涵盖了药物发现流程的各个阶段，共涉及66个任务。使用一组权重，Tx-LLM同时处理各种化学或生物实体（小分子、蛋白质、核酸、细胞系、疾病）和自由文本，使其能够预测广泛的相关属性，在43项任务中达到了与最先进技术相当的性能，并在22项任务中超过了最先进技术。其中，Tx-LLM在分子SMILES表示与细胞系名称或疾病名称等文本相结合的任务中表现尤为出色，可能是由于预训练期间学习到的上下文知识。我们观察到在涉及小分子和蛋白质等不同药物类型的任务之间存在积极的迁移效应，并研究了模型大小、领域微调和提示策略对性能的影响。我们认为Tx-LLM代表了编码生物化学知识的LLMs的重要进展，并可能在整个药物发现开发流程中发挥端到端工具的作用。

本论文旨在解决药物开发过程中的高成本和漫长时间的问题，提出一种通用的大型语言模型Tx-LLM，用于加速药物开发过程中的多项任务。

Tx-LLM是一种通用的大型语言模型，通过对PaLM-2进行fine-tuning，可以同时处理多种化学或生物实体（如小分子、蛋白质、核酸、细胞系、疾病）和自由文本，能够预测广泛的相关属性。

论文使用了709个数据集，涵盖了药物开发过程中的66个任务。Tx-LLM在43个任务中取得了与最先进技术（SOTA）相当的表现，在22个任务中超过了SOTA。Tx-LLM在处理分子SMILES表示和文本（如细胞系名称或疾病名称）的任务中表现尤为出色。实验结果表明，Tx-LLM在不同类型的任务之间存在积极的迁移学习。

在这个领域，最近的相关研究包括使用深度学习模型进行药物发现和设计，如DeepDTA和DeepPurpose。