TableLlama: Towards Open Large Generalist Models for Tables

半结构化表格是无处不在的。已经有各种任务旨在自动解释、增强和查询表格。目前的方法通常需要在表格上进行预训练或特殊的模型架构设计，限制于特定类型的表格，或对表格和任务有简化的假设。本文迈出了开发开源大语言模型（LLMs）作为多样化基于表格任务通用模型的第一步。为此，我们构建了一个新的数据集TableInstruct，其中包含各种真实的表格和任务，用于指令调整和评估LLMs。我们进一步开发了第一个针对表格的开源通用模型TableLlama，通过使用LongLoRA对Llama 2（7B）进行微调以解决长上下文挑战。我们在域内和域外两种情况下进行实验。在8个域内任务中，TableLlama在每个任务上实现了与SOTA相当或更好的性能，尽管后者通常具有针对任务的特定设计。在6个域外数据集中，与基础模型相比，它实现了5-44个绝对点的增益，表明在TableInstruct上进行训练可以增强模型的通用性。我们开源了我们的数据集和训练模型，以促进未来开发针对表格开放通用模型的工作。

本文旨在开发针对多样化基于表格的任务的通用型模型，解决当前方法需要预先训练或特殊模型架构设计、限制在特定表格类型或对表格和任务有简化假设的问题。为此，作者构建了TableInstruct数据集，用于指导调整和评估大型语言模型（LLMs）。

作者使用LongLoRA对Llama 2（7B）进行微调，开发出第一个针对表格的通用模型TableLlama，解决了长文本的挑战。

在8个任务中，TableLlama在7个任务中表现出与SOTA相当或更好的性能，尽管后者通常具有任务特定的设计。在6个领域外数据集中，相对于基础模型，TableLlama实现了5-44个绝对点的提升，表明在TableInstruct上的训练增强了模型的泛化能力。作者开源了数据集和训练模型，以促进未来开发针对表格的通用模型的工作。

最近的相关研究包括《TabEL: Entity Linking in Web Tables》、《WikiTableQuestions: a Complex Real-World Question Understanding Benchmark》、《Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation》等。