Test-Time Training on Graphs with Large Language Models (LLMs)

图神经网络在多媒体领域展现了巨大的成功。然而，训练数据和测试数据之间的分布差异挑战了GNN的有效性。为了缓解这一挑战，提出了测试时训练（TTT）作为一种有前途的方法。传统的TTT方法需要一种要求苛刻的无监督训练策略来捕捉测试信息以使主要任务受益。受大型语言模型（LLMs）在文本属性图（TAGs）上的强大注释能力的启发，我们提出了一种使用LLMs作为注释者增强图上测试时训练的方法。在本文中，我们设计了一种新颖的测试时训练流程LLMTTT，它在经过精心选择的节点集上，在LLMs的注释下进行测试时适应。具体而言，LLMTTT引入了一种混合主动节点选择策略，不仅考虑节点的多样性和代表性，而且考虑来自预训练模型的预测信号。在LLMs的注释下，设计了一个两阶段的训练策略，以利用有限的嘈杂标签来定制测试时模型。理论分析保证了我们方法的有效性，广泛的实验表明，与现有的超出分布（OOD）泛化方法相比，所提出的LLMTTT可以显著提高性能。

解决在图神经网络中训练数据和测试数据分布不一致的问题，并提出了一种新的测试时间训练方法。

使用大型语言模型在节点集上进行注释，并设计了一种混合主动节点选择策略和两阶段训练策略，以适应有限和嘈杂的标签。

该论文提出了一种新的测试时间训练方法LLMTTT，其使用大型语言模型在节点集上进行注释，并设计了一种混合主动节点选择策略和两阶段训练策略。该论文的实验结果表明，该方法可以显著提高模型性能。

最近的相关研究包括Out-of-Distribution（OOD）泛化方法等。