Uni-Mol2: Exploring Molecular Pretraining Model at Scale

近年来，预训练模型在自然语言处理（NLP）、计算机视觉（CV）和生命科学领域取得了重大进展。NLP和CV的显著进展主要是由于模型参数和数据规模的扩大，这种现象现在被认为是缩放定律。然而，关于分子预训练模型的缩放定律的研究尚未被探索。在本文中，我们提出了Uni-Mol2，这是一种创新的分子预训练模型，利用两个轨道的变压器有效地整合原子级、图形级和几何结构级的特征。同时，我们系统地研究了分子预训练模型中的缩放定律，表征了验证损失与模型大小、数据集大小和计算资源之间的幂律相关性。因此，我们成功地将Uni-Mol2扩展到了11亿个参数，通过对8亿个构象进行预训练，使其成为迄今为止最大的分子预训练模型。广泛的实验表明，随着模型大小的增长，下游任务的改进是一致的。具有11亿个参数的Uni-Mol2还优于现有方法，在QM9和COMPAS-1D数据集上平均提高了27％和14％。

本论文旨在探索分子预训练模型的缩放规律，并提出Uni-Mol2分子预训练模型，解决分子预训练模型中的特征整合问题。同时，论文也试图验证大规模分子预训练模型的有效性。

论文提出了一种新的分子预训练模型Uni-Mol2，该模型利用双轨道Transformer有效地整合了原子级别、图形级别和几何结构级别的特征。作者还系统地研究了分子预训练模型的缩放规律，并通过对800万个构象进行预训练，将Uni-Mol2缩放到了11亿个参数。实验结果表明，随着模型规模的增大，下游任务的表现也逐步提高。

论文使用了QM9和COMPAS-1D数据集进行实验，并且开源了Uni-Mol2的代码。实验结果表明，Uni-Mol2在两个数据集上都取得了比现有方法更好的结果。此外，论文还系统地研究了分子预训练模型的缩放规律，为未来的研究提供了有价值的参考。

最近的相关研究包括：1）MolBERT：一种针对分子的BERT模型；2）Molecule Attention Transformer：一种基于注意力机制的分子表示学习方法；3）GIN-M：一种基于图形卷积网络的分子表示学习方法。