Characterizing Multimodal Long-form Summarization: A Case Study on Financial Reports

随着大型语言模型（LLMs）扩展自然语言处理的能力以处理长输入，需要进行严格和系统的分析以了解它们的能力和行为。一个显著的应用是摘要，由于其普遍性和争议（例如，研究人员已宣布摘要的死亡）。在本文中，我们以财务报告摘要为案例研究，因为财务报告不仅很长，而且广泛使用数字和表格。我们提出了一个计算框架来表征多模式长格式摘要，并调查了Claude 2.0 / 2.1、GPT-4 / 3.5和Command的行为。我们发现GPT-3.5和Command无法有意义地执行此摘要任务。对于Claude 2和GPT-4，我们分析了摘要的提取性，并在LLMs中识别了一个位置偏差。在对Claude进行输入洗牌后，这个位置偏差消失了，这表明Claude有识别重要信息的能力。我们还对LLM生成的摘要中数字数据的使用进行了全面调查，并提供了数字幻觉的分类法。我们采用提示工程来改善GPT-4对数字的使用，但效果有限。总的来说，我们的分析突出了Claude 2在处理长的多模式输入方面相对于GPT-4的强大能力。

本论文旨在解决长篇多模态财务报告自动摘要问题，探究大型语言模型在此任务中的表现和行为，并分析其对数字数据的处理能力。

论文提出了一个计算框架，通过对Claude 2.0/2.1、GPT-4/3.5和Command等模型的实验比较，发现Claude 2在处理长篇多模态输入方面表现优异，而GPT-3.5和Command则无法有效完成此任务。此外，论文还发现大型语言模型存在一定的位置偏差，但通过对输入进行打乱，Claude 2有能力识别重要信息。最后，论文还提供了数字数据处理能力的分类，并使用prompt engineering尝试提高GPT-4对数字的处理能力，但效果有限。

论文使用财务报告自动摘要作为案例研究，对大型语言模型在处理长篇多模态输入和数字数据上的表现进行了系统分析。实验结果发现Claude 2表现优异，但GPT-3.5和Command无法有效完成任务。论文还提供了数字数据处理能力的分类和使用prompt engineering的尝试，为后续研究提供了参考。

最近的相关研究包括《Extractive Summarization of Long Documents by Combining Global and Local Context》、《Long Document Summarization: A Survey》等。