ROUGE-K: Do Your Summaries Have Keywords?

关键词在摘要中扮演着传递有效信息的重要角色，因此在评估中检查系统生成的摘要是否包含这些信息至关重要。然而，现有的极端压缩模型的评估指标并没有明确关注摘要中的关键词，导致开发人员无法了解它们的存在。为解决这一问题，我们提出了一种关键词导向的评估指标ROUGE-K，它提供了一个量化的答案来回答“摘要是否包含关键词”的问题。通过这个关键词感知的度量标准，我们惊讶地发现，当前一个强大的基线模型在其摘要中经常会漏掉重要信息。我们的分析表明，人类注释者确实发现摘要中包含更多关键词的摘要更相关。这是评估压缩系统中一个重要但以前被忽视的方面。最后，为了增强关键词的包含性，我们提出了四种将词汇重要性融入基于Transformer的模型的方法，并实验证明这可以引导模型在保持总体质量的同时包含更多关键词。我们的代码已在https://github.com/sobamchan/rougek发布。

当前极端压缩模型的评估指标未考虑摘要中的关键词，因此需要提出一种关键词导向的评估指标，并探究关键词对于摘要质量的影响。

本文提出了一种关键词导向的评估指标ROUGE-K，并通过实验证明了这种指标可以有效评估摘要中的关键词。同时，作者还提出了四种方法来提高基于Transformer的模型中关键词的包含率。

本文的亮点包括：提出了一种关键词导向的评估指标ROUGE-K；实验证明了关键词对于摘要质量的影响；提出了四种方法来提高基于Transformer的模型中关键词的包含率。作者还开源了代码。

最近的相关研究包括基于Transformer的摘要生成模型、自动评估指标的改进等。其中一些论文标题包括：\"Pre-training-based Natural Language Generation for Text Summarization\"、\"BERTScore: Evaluating Text Generation with BERT\"等。