TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools

本文介绍了一个名为TACT（通过表格进行文本和计算）的数据集，旨在评估大型语言模型（LLMs）在需要聚合多个文本信息的查询时的推理和计算能力。TACT包含了一些具有挑战性的指令，需要将分散在一个或多个文本中的信息拼接起来，并对这些信息进行复杂的整合，以生成答案。该数据集是通过利用现有的文本和表格数据集构建而成的。作者发现，当代的LLMs在这个数据集上表现不佳，准确率低于38％。为了深入剖析问题，作者对模型在表格生成、Pandas命令生成和执行三个方面的表现进行了分析。作者发现，对于目前的LLMs来说，每个组成部分都存在着巨大的挑战。因此，作者提出了一个名为IE as a tool的聚焦建模框架，该框架为每个步骤添加了“工具”，并使用少量提示来实现每个工具。这种方法显示出比现有提示技术更好的效果，为提高模型在这些任务中的能力提供了一个有前途的方向。

本论文试图解决LLMs在需要跨文本聚合信息的查询任务中表现不佳的问题，并提出了一个新的数据集TACT来评估模型的推理和计算能力。

论文提出了一种集成表格生成、Pandas命令生成和执行的IE as a tool框架，使用few-shot prompting实现每个步骤的工具，以提高模型在这些任务中的能力。

TACT数据集包含具有挑战性的指令，要求跨越一个或多个文本的分散信息，并对此信息进行复杂的集成以生成答案。作者分析了模型在表格生成、Pandas命令生成和执行三个组件上的性能，并提出了IE as a tool框架来解决这些问题。实验结果表明，该方法比现有的提示技术有所改进。

最近的相关研究包括使用多任务学习和迁移学习来提高模型性能的工作，例如MultiRCT和MUREL。