Enhancing News Summarization with ELearnFit through Efficient In-Context Learning and Efficient Fine-Tuning

由于每日新闻周期所传递的信息数量庞大，因此越来越需要有效且高效地对新闻摘要进行概括以便快速消费。我们利用大型语言模型（LLMs）的高级学习和生成能力，相较于传统的语言模型，从XSum数据集中生成简洁和连贯的新闻文章摘要。我们的论文关注LLMs的两个关键方面：有效的上下文学习（ELearn）和参数高效微调（EFit）。在ELearn中，我们发现增加提示中的射击次数并使用简单模板通常可以提高摘要的质量。我们还发现，在ELearn的少量样本学习中使用相关示例并不能提高模型性能。此外，我们使用不同的方法研究了EFit，并证明微调LLMs的第一层相较于微调其他层或使用LoRA可以产生更好的结果。我们还发现，利用更相关的训练样本使用选择性层并不能产生更好的性能。通过结合ELearn和EFit，我们创建了一个新模型（ELearnFit），它利用少量样本学习和微调的优点，产生了比单独任何模型更优异的性能。我们还使用ELearnFit来强调提示和微调之间的权衡，特别是在只有有限数量的注释样本可用的情况下。最终，我们的研究提供了优化新闻摘要在提示和微调阶段的实用技术，并增强了新闻文章的综合能力。

本论文旨在通过利用大型语言模型（LLMs）的先进学习和生成能力，为XSum数据集的新闻文章生成简洁连贯的摘要，解决新闻摘要化的问题。具体地，论文关注LLMs的两个关键方面：高效上下文学习（ELearn）和参数高效微调（EFit）。

论文提出了一种新的模型ELearnFit，将ELearn和EFit相结合，既能利用少量样本进行学习，又能进行微调，从而提高了新闻摘要化的性能。在ELearn方面，论文发现增加提示中的样本数量和使用简单的模板通常可以提高摘要的质量。在EFit方面，论文研究了不同的方法，发现微调LLMs的第一层可以产生更好的结果。此外，论文还探讨了提示和微调之间的权衡，尤其是在只有少量注释样本可用的情况下。

论文使用XSum数据集进行实验，并展示了ELearn和EFit的效果。论文还提出了一种新的评估指标，称为ROUGE-Lsum，用于评估生成的摘要。此外，论文还探讨了利用相关示例进行ELearn的效果，以及使用选择性层来提高EFit的效果。论文开源了代码和数据集，并提供了详细的实验结果和分析。

在最近的相关研究中，也有许多关于使用LLMs进行新闻摘要化的研究。例如，有一些研究探讨了如何使用多任务学习来提高性能，而另一些研究则关注于如何在不同的领域中进行迁移学习。其中一些相关论文的标题包括：“PreSumm: Neural News Summarization with Pretrained Encoders and Transfer Learning”和“Fine-tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping”。