GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization

在当今全球舞台上，新闻摘要可能会因其涌现的多语言内容和来自不同来源的不同观点而令人望而生畏。然而，目前的研究往往忽略了这种现实情况，因为它们往往只关注单语言或单文档任务。为了弥合这一差距，我们旨在将多语言、跨语言和多文档摘要统一为一项新任务，即MCMS，它将真实世界的要求一揽子包含。然而，缺乏基准数据集阻碍了研究人员充分研究这个宝贵的问题。为了解决这个问题，我们通过首先收集大量的多语言新闻报道并将其重构为事件中心格式，精心构建了GLOBESUMM数据集。此外，我们引入了协议引导提示的方法，用于高质量和成本效益的参考注释。在MCMS中，我们还强调了新闻报道之间的冲突挑战，除了冗余和遗漏问题，进一步增加了GLOBESUMM的复杂性。通过广泛的实验分析，我们验证了数据集的质量，并阐明了任务的固有挑战。我们坚信，鉴于其具有挑战性，GLOBESUMM将极大地促进多语言社区和LLMs的评估。

将多语言、跨语言和多文档摘要统一为一个任务，即MCMS，以满足实际需求，但缺乏基准数据集。

构建了GLOBESUMM数据集，采用协议引导提示方法进行高质量、低成本的参考注释，并强调了新闻报告之间的冲突、冗余和遗漏等问题。

GLOBESUMM数据集的质量得到验证，任务的内在挑战得到解释，为多语言社区和LLMs的评估做出了巨大贡献。

最近的相关研究包括单语言或单文档摘要，如“TextRank: Bringing Order into Texts”和“Multi-Document Summarization Using Cluster-Based Link Analysis”。