MolBind: Multimodal Alignment of Language, Molecules, and Proteins

最近生物和化学方面的进展已经利用多模态学习，将分子及其自然语言描述整合起来以增强药物研发。然而，目前的预训练框架仅限于两种模态，而设计一个统一的网络来处理不同的模态（例如自然语言、二维分子图、三维分子构象和三维蛋白质）仍然具有挑战性，因为它们之间存在固有的差距。在这项工作中，我们提出了MolBind框架，通过对比学习训练多个模态的编码器，将所有模态映射到共享的特征空间中，以实现多模态语义对齐。为了促进MolBind在多个模态上的有效预训练，我们还构建和收集了一个包含四个模态的高质量数据集MolBind-M4，其中包括图形语言、构象语言、图形构象和构象蛋白质配对数据。MolBind在广泛的任务中表现出卓越的零样本学习性能，证明了它捕捉多种模态的潜在语义的强大能力。

本文旨在解决多模态学习中存在的模态差异问题，通过提出MolBind框架，将不同模态的信息映射到一个共享的特征空间中，以实现多模态语义对齐。

MolBind框架使用对比学习的方式，对多模态信息进行编码，然后将其映射到一个共享的特征空间中，以实现多模态语义对齐。此外，为了有效地预训练MolBind框架，作者还构建了一个高质量的数据集MolBind-M4，包括图-语言、构象-语言、图-构象和构象-蛋白质等四种模态的配对数据。

本文的实验结果表明，MolBind框架在各种任务上都表现出卓越的零样本学习能力，具有捕捉多模态信息的强大能力。此外，作者还开源了MolBind-M4数据集和代码，为相关研究提供了有价值的资源。

在多模态学习领域，最近的相关研究包括：Multi-modal Learning with Graph Convolutional Networks，Multimodal Learning with Deep Boltzmann Machines等。