AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization

尽管使用大型语言模型（LLM）进行抽象摘要任务已经取得了进展，但缺乏研究来评估它们适应不同领域的能力。我们评估了各种LLM在不同领域的摘要任务中的领域适应能力，包括微调和上下文学习设置。我们还提出了AdaptEval，这是第一个领域适应评估套件。AdaptEval包括一个领域基准和一组指标，以便于分析领域适应。我们的结果表明，在上下文学习设置中，LLM表现出相当的性能，不考虑它们的参数规模。

评估大型语言模型在不同领域的领域自适应能力，并提出AdaptEval套件来评估领域自适应性能。

通过对不同领域的摘要任务进行微调和上下文学习，评估各种大型语言模型的领域自适应能力，并提出了AdaptEval套件来评估领域自适应性能。

AdaptEval是第一个领域自适应评估套件，包括一个领域基准和一组指标，以便分析领域自适应性能。结果表明，无论其参数规模如何，大型语言模型在上下文学习环境中表现出相当的性能。

最近的相关研究包括《Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings》、《Multi-Task Learning for Domain Generalization》等。