MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering

在今天快节奏的行业中，专业人士每天都面临着总结大量文档并从中提取重要信息的挑战。这些指标通常隐藏在表格和/或它们的嵌套超链接中。为了解决这个挑战，Table Question Answering（QA）方法被开发出来以提取相关信息。然而，传统的Table QA训练任务，即为问题提供一个表格和一个或多个答案的坐标，可能并不能保证提取准确的答案。最近大型语言模型（LLMs）的进展为使用提示从表格数据中提取信息开辟了新的可能性。本文介绍了多跳少样本开放式丰富表格QA（MFORT-QA）方法，它由两个主要步骤组成。第一步涉及少样本学习（FSL），它基于给定的问题检索相关表格和超链接的上下文。然后使用检索到的内容构建少样本提示作为输入到LLM（如ChatGPT）。为了应对回答复杂问题的挑战，第二步利用CoT提示将复杂问题分解为多跳的顺序问题和推理思路。检索增强生成（RAG）通过检索与结果推理思路和问题相关的表格和超链接的上下文来增强这个过程。然后使用这些额外的上下文来补充第一步中使用的提示，从而从LLM中获得更准确的答案。OTT-QA的实证结果表明，我们的抽象QA方法显著提高了提取式Table QA方法的准确性。

本论文旨在解决从表格中提取信息的问题，传统的Table QA训练任务无法保证提取准确答案。因此，论文提出了一个基于LLM的Multi-hop Few-shot Open Rich Table QA (MFORT-QA)方法。

MFORT-QA方法包括两个主要步骤：Few-Shot Learning (FSL)和Chain-of-thought (CoT) prompting。其中，FSL用于检索相关表格和超链接上下文，构建prompt输入LLM，CoT prompting用于将复杂问题分解成多个问题链，使用RAG检索相关表格和上下文，从而提高LLM的准确性。

论文实验使用了OTT-QA数据集，结果表明MFORT-QA方法显著提高了Table QA方法的准确性。此外，论文还提出了一种新的解决方案，即基于LLM的prompt，与传统的基于坐标的Table QA方法不同。论文还提供了开源代码。

在这个领域中，还有一些相关的研究。例如，Table-BERT和Tapas等。