LLM and GNN are Complementary: Distilling LLM for Multimodal Graph Learning

最近图神经网络（GNNs）的进展大大增强了建模复杂分子结构以预测性质的能力。然而，分子数据不仅包括图形结构，还包括GNNs无法处理的文本和视觉信息。为了弥补这一差距，我们提出了一种创新的框架，利用多模态分子数据从大型语言模型（LLMs）中提取见解。我们介绍了GALLON（从大型语言模型蒸馏的图学习），这是一个框架，通过将多模态知识蒸馏到统一的多层感知器（MLP）中，协同利用LLMs和GNNs的能力。该方法将分子的丰富文本和视觉数据与GNNs的结构分析能力相结合。广泛的实验表明，我们蒸馏的MLP模型显着提高了分子性质预测的准确性和效率。

本论文旨在解决分子数据中存在的文本和图像信息无法很好地被图神经网络处理的问题，提出了一种结合大型语言模型和图神经网络的框架。

论文提出了GALLON框架，通过将多模态知识融合为统一的多层感知器模型来协同利用大型语言模型和图神经网络的能力，将分子的文本和图像数据与GNN的结构分析能力相结合。

论文进行了大量实验，结果表明，GALLON模型显著提高了分子属性预测的准确性和效率。论文使用了多个数据集进行实验，并提供了开源代码。值得进一步研究的工作包括如何更好地融合文本、图像和结构信息，以及如何将该框架应用于其他领域。

最近在这个领域中，也有一些相关的研究，如《MoleculeBERT: A Pre-trained Language Model for Molecular Property Prediction》、《Graph Attention Networks for Molecular Property Prediction》等。