Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness

大型语言模型（LLMs）在各种自然语言处理任务中表现出了显著的性能。最近，已经开发了几个基于LLMs的管道，以增强对带有文本属性的图形的学习，展示了有希望的性能。然而，众所周知，图形容易受到对抗性攻击，并且LLMs是否在学习图形时表现出鲁棒性仍不清楚。为了填补这一空白，我们的工作旨在探索LLMs在对抗性攻击的图形背景下的潜力。具体而言，我们从两个方面考虑LLMs的鲁棒性：LLMs作为增强器和LLMs作为预测器，研究其对结构和文本扰动的鲁棒性。通过大量实验，我们发现，与浅层模型相比，LLMs作为增强器和LLMs作为预测器在结构和文本攻击方面都提供了更好的鲁棒性。基于这些发现，我们进行了额外的分析，以研究其潜在原因。此外，我们已经公开提供了我们的基准库，以促进快速公正的评估，并鼓励这一领域的持续创新研究。

研究LLMs在图上的鲁棒性，特别是对抗性攻击的鲁棒性。

通过实验发现，与浅层模型相比，LLMs在结构和文本攻击方面都具有更强的鲁棒性。

论文提供了一个开源的基准库，以促进领域内的创新研究。实验使用了多个数据集，并且通过进一步的分析揭示了LLMs鲁棒性的潜在原因。

最近的相关研究包括“Adversarial Attacks on Graph Neural Networks via Meta Learning”和“Adversarial Attacks on Node Embeddings via Graph Poisoning”。