Uni-Mol2: Exploring Molecular Pretraining Model at Scale

近年来，预训练模型在自然语言处理（NLP）、计算机视觉（CV）和生命科学领域取得了显著进展。在NLP和CV领域中，模型参数和数据规模的扩展是主要推动因素，这种现象现在被认为是缩放定律。然而，探索分子预训练模型中的缩放定律的研究仍未被探索。在本文中，我们提出了Uni-Mol2，这是一种创新的分子预训练模型，利用了双轨变压器，有效地整合了原子级、图形级和几何结构级的特征。同时，我们系统地研究了分子预训练模型中的缩放定律，表征了验证损失与模型大小、数据集大小和计算资源之间的幂律相关性。因此，我们成功地将Uni-Mol2扩展到了11亿个参数，通过对8亿个构象进行预训练，使其成为迄今为止最大的分子预训练模型。广泛的实验表明，随着模型大小的增长，在下游任务中表现出了一致的改进。具有11亿个参数的Uni-Mol2也优于现有方法，在QM9和COMPAS-1D数据集上平均提高了27%和14%。

本文旨在探索分子预训练模型的规模化定律，并提出一种新型分子预训练模型Uni-Mol2，以解决分子预训练模型中规模化问题。

本文提出了一种新型分子预训练模型Uni-Mol2，采用两条轨道变压器有效地整合原子级、图级和几何结构级别的特征，并通过对模型规模、数据集大小和计算资源之间的验证损失进行幂律关联的系统研究，成功将Uni-Mol2扩展到了11亿参数，成为迄今为止最大的分子预训练模型。

本文的亮点包括成功探索了分子预训练模型的规模化定律，提出了Uni-Mol2模型并将其规模扩展到了11亿参数，取得了在QM9和COMPAS-1D数据集上的显著性能提升，并且开源了代码。

最近的相关研究包括《GraphDTA: A Graph Convolutional Neural Network for Drug-Target Binding Affinity Prediction》和《Molecular Property Prediction: A Multilevel Quantum Interactions Modeling Perspective》等。