EasyECR: A Library for Easy Implementation and Evaluation of Event Coreference Resolution Models

事件共指消解（ECR）是将指向同一真实世界事件的事件提及聚类的任务。尽管已经有了显著的进展，但ECR研究面临两个主要挑战：由于狭窄的数据集评估，跨领域的普适性有限，以及在不同的ECR流程中比较模型存在困难。为了解决这些问题，我们开发了EasyECR，这是第一个旨在标准化数据结构和抽象ECR流程以便于实现和公正评估的开源库。具体而言，EasyECR整合了七个代表性的流程和十个流行的基准数据集，使得可以在各种数据集上评估模型，并促进了强大的ECR流程的发展。通过我们的EasyECR进行广泛的评估，我们发现：\lowercase\expandafter{\romannumeral1}）代表性的ECR流程不能在多个数据集上进行泛化，因此在多个数据集上评估ECR流程是必要的；\lowercase\expandafter{\romannumeral2}）ECR流程中的所有模型都对流程性能有很大的影响，因此，在比较ECR流程中的一个模型时，确保其他模型保持一致是必要的。此外，复制ECR结果并不是易事，而开发的库可以帮助减少这种差异。实验结果为未来的研究提供了有价值的基线。

解决Event Coreference Resolution（ECR）中的两个主要问题：跨领域泛化能力不足和难以比较不同的ECR流水线。

设计了EasyECR开源库，用于标准化数据结构和抽象ECR流水线，以便于实现和公正评估。集成了七个代表性的流水线和十个流行的基准数据集，可以在多个数据集上评估模型并促进稳健ECR流水线的发展。

通过EasyECR进行广泛的评估，发现代表性的ECR流水线不能在多个数据集上泛化，因此在多个数据集上评估ECR流水线是必要的。ECR流水线中的所有模型对流水线性能都有很大影响，因此在比较ECR流水线中的一个模型时，必须确保其他模型保持一致。此外，开发的库可以帮助减少ECR结果的差异。

最近的相关研究包括：End-to-End Neural Coreference Resolution with Multi-Pass Sieves、A Survey on Event Coreference Resolution、A Joint Framework for Event Temporal Relation Identification and Event Coreference Resolution Based on Cross-Task Learning等。