What's Wrong? Refining Meeting Summaries with LLM Feedback

随着数字会议的普及，会议总结已成为一项关键任务。相较于传统方法，大型语言模型(LLMs)在总结中表现出强大的潜力，提供了更好的连贯性和上下文理解。然而，它们仍然难以保持相关性并避免幻觉。我们引入了一种多LLM修正方法，用于会议总结，采用了一个模仿人类审查过程的两阶段过程：错误识别和总结完善。我们发布了QMSum Mistake数据集，其中包含200个自动生成的会议总结，由人类对九种错误类型进行了注释，包括结构错误、遗漏错误和不相关错误。我们的实验表明，LLM可以高精度地识别这些错误。我们将识别出的错误转化为可操作的反馈，以提高总结的质量，包括相关性、信息量、简洁性和连贯性。这种事后的完善有效地通过利用多个LLM来验证输出质量，提高了总结质量。我们的多LLM方法在会议总结中展示了类似的复杂文本生成任务的潜力，需要具备鲁棒性、行动规划和朝向目标的讨论。

论文旨在解决会议摘要中的错误问题，提出了一种基于多个大型语言模型的自动纠错方法。

论文提出了一种两阶段的自动纠错方法，模拟人工审阅流程，通过识别错误并进行摘要修正来提高会议摘要的质量。

作者发布了一个包含200个自动生成的会议摘要的数据集，并对其进行了人工标注。实验结果表明，该方法可以高精度地识别出会议摘要中的错误，并通过多个大型语言模型进行摘要修正，从而有效地提高了摘要的质量。

最近的相关研究主要集中在基于大型语言模型的会议摘要生成上，如GPT-2、BERT等模型的应用。