MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction

分子属性预测(MPP)是药物发现中的一项基础和关键任务。然而，先前的方法受到标记分子数量的限制，以及其对于未知和新任务的泛化能力受限，这两个因素对于实际应用至关重要。为了应对这些挑战，我们提出了MolecularGPT用于少样本MPP。从指令调整的角度出发，我们通过细调基于精选分子指令的大型语言模型(LLMs)，涵盖了1000多个属性预测任务。这使得构建一个多才多艺、专业化的LLM成为可能，而且可以通过零样本和少样本的上下文学习(ICL)来适应新的MPP任务，而无需进行任何微调。MolecularGPT在10个下游评估数据集上展现出有竞争力的上下文推理能力，为少样本分子预测任务设立了新的基准。更重要的是，仅使用两个样本，MolecularGPT就能在4个数据集上胜过标准的监督图神经网络方法。它也在零样本情况下表现出色，比最先进的LLM基线提高了最高16.6%的分类准确性，并降低了199.17的回归指标(RMSE)。这项研究展示了LLMs作为有效的少样本分子属性预测器的潜力。该代码可在https://github.com/NYUSHCS/MolecularGPT上获得。

本论文试图解决分子属性预测中需要大量标记分子的问题以及模型泛化能力不足的问题，这些问题对于实际应用非常重要。

本论文的关键思路是通过对超过1000个属性预测任务进行微调，构建出一种适用于新的分子属性预测任务的通用和专门化的大型语言模型（LLM），并通过零样本和少样本上下文学习（ICL）实现分子属性预测，从而实现少样本分子属性预测的目标。

本论文的亮点包括：1. 使用大型语言模型实现了少样本分子属性预测，取得了很好的效果；2. 在4个数据集上，仅使用两个样本就能优于标准监督图神经网络方法；3. 在零样本学习方面，相比目前最先进的大型语言模型，分类准确率提高了最多16.6％，回归指标（例如RMSE）下降了199.17；4. 研究使用的数据集丰富，代码开源。

最近在这个领域中，还有一些相关研究，如：1. 'Few-shot learning of neural networks for molecular property prediction'；2. 'A graph-convolutional neural network model for the prediction of chemical reactivity'；3. 'Molecule attention transformer'等。