A (More) Realistic Evaluation Setup for Generalisation of Community Models on Malicious Content Detection

社交图谱中考虑上下文的恶意内容检测社区模型，在基准数据集上表现出色。然而，虚假信息和仇恨言论仍在社交媒体网络上传播。这种不匹配部分归因于当前评估设置的限制，这些设置忽略了在线内容和底层社交图谱的快速演变。在本文中，我们提出了一种基于我们的少样本子图采样方法的模型泛化新评估设置。该设置通过在更大的图形中进行少量标记示例的本地探索来测试泛化性，模拟更现实的应用设置。我们展示了这是一个具有挑战性的归纳设置，在训练图上的强大表现并不表明在看不见的任务、领域或图结构上表现良好。最后，我们展示了使用我们提出的少样本子图采样训练的图元学习器在归纳设置中优于标准社区模型。我们将我们的代码公开可用。

论文旨在解决社交媒体网络上恶意内容检测模型的泛化问题，即在真实应用场景中，模型的表现是否具有可迁移性。

论文提出了一种基于few-shot子图采样的评估方法，测试模型在少量标记示例下对更大图形的本地探索的泛化能力。该方法是一种具有挑战性的归纳设置，强调了训练图上的良好表现并不代表在未见过的任务、领域或图结构上的表现。

论文的亮点包括提出的few-shot子图采样评估方法、展示的图元学习器在归纳设置中的表现优于标准社区模型、开放的代码等。实验使用了基准数据集，并探讨了模型的泛化能力。

近期相关研究包括《Graph Neural Networks: A Review of Methods and Applications》、《Few-shot Learning: A Survey》等。