【论文标题】Automatic Generation of Contrast Sets from Scene Graphs: Probing the Compositional Consistency of GQA 【作者团队】Yonatan Bitton, Gabriel Stanovsky, Roy Schwartz, Michael Elhadad 【发表时间】2021/03/17 【论文链接】https://arxiv.org/abs/2103.09591 【推荐理由】本文作者提出了一种新颖的方法，该方法利用丰富的语义输入表示来自动生成可视化答题任务的对比集。 最近的工作表明，受监督的模型经常利用数据伪像来获得良好的测试成绩，而在其训练分布范围之外的样本上其性能会严重下降。对比集（Gardneret等人，2020年）通过以最小方式扰动测试样本，从而修改输出标签来量化此现象。虽然大多数对比集是手动创建的，需要大量的注释工作，但我们提出了一种新颖的方法，该方法利用丰富的语义输入表示来自动生成可视化答题任务的对比集。我们的方法可以计算出困扰的问题的答案，从而大大降低注释成本，并能够全面评估模型在各种语义方面（例如空间或关系推理）的性能。我们证明了我们的方法对GQA数据集及其语义场景图图像表示的有效性。我们发现，尽管GQA的成分和精心分配的标签分布，与原始测试集相比，两个高性能模型的准确性下降了13-17％。最后，我们证明了我们的自动扰动可以应用于训练集，以减轻性能的下降，从而为更强大的模型打开了大门。

内容中包含的图片若涉及版权问题，请及时与我们联系删除