On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations

本文旨在研究文档级关系抽取（DocRE）模型对实体名称变化的鲁棒性。由于跨句子和大规模关系抽取的需求不断增加，DocRE已经引起了越来越多的研究兴趣。尽管性能不断提高，但我们发现现有的DocRE模型在仅更改文档中的实体名称时可能会出现更多错误，从而阻碍了对新实体名称的泛化。因此，本文系统地研究了DocRE模型对实体名称变化的鲁棒性。首先，我们提出了一个有原则的流程来生成实体重命名文档，即用来自Wikidata的名称替换原始实体名称。通过将该流程应用于DocRED和Re-DocRED数据集，我们构建了两个名为Env-DocRED和Env-Re-DocRED的新基准来进行鲁棒性评估。实验结果表明，无论是三个代表性的DocRE模型还是两个上下文学习的大语言模型，在实体名称变化方面都缺乏足够的鲁棒性，特别是在跨句子关系实例和具有更多实体的文档上。最后，我们提出了一种实体变化鲁棒性训练方法，不仅提高了DocRE模型的鲁棒性，还增强了它们的理解和推理能力。我们进一步验证了该方法的基本思想也可以有效地转移到DocRE的上下文学习中。

本论文试图解决文档级关系抽取（DocRE）模型在处理实体名称变化时的鲁棒性问题，提出了一种用于评估模型鲁棒性的基准测试集。

论文提出了一种基于维基数据的实体名称替换流程，用于生成实体名称变化后的文档，并设计了一个新的基准测试集，用于评估文档级关系抽取模型的鲁棒性。同时，提出了一种实体名称变化鲁棒性训练方法，能够有效提高模型的鲁棒性和理解推理能力。

论文使用了DocRED和Re-DocRED数据集构建了两个新的基准测试集Env-DocRED和Env-Re-DocRED，用于评估文档级关系抽取模型的鲁棒性。实验结果表明，目前的文档级关系抽取模型在处理实体名称变化时鲁棒性不足，提出的实体名称变化鲁棒性训练方法能够有效提高模型的鲁棒性和理解推理能力。

与本文相关的研究包括：《DocRED: A Large-Scale Document-Level Relation Extraction Dataset》、《Re-DOC: A Reading Comprehension Benchmark for Document-Level Relation Extraction》等。