How Robust are the Tabular QA Models for Scientific Tables? A Study using Customized Dataset

这段摘要介绍了关于混合科学表格和文本数据的问答（QA）问题，这需要处理科学信息并依赖于复杂的数字推理。近年来，尽管表格QA取得了快速进展，但由于缺乏基准数据集，对其在科学信息上的鲁棒性的理解仍然不足。为了研究现有最先进的QA模型在科学混合表格数据上的鲁棒性，作者提出了一个新的数据集“SciTabQA”，其中包含822个科学表格及其描述的问题-答案对。通过该数据集，作者评估了最先进的基于表格的QA模型，评估模型的能力包括：（i）使用需要结构化数据（表格）和非结构化数据（文本）的异构信息，以及（ii）执行复杂的科学推理任务。本质上，作者检查了模型解释科学表格和文本的能力。实验结果表明，“SciTabQA”是研究科学异构数据问答的创新数据集。作者对三个最先进的表格QA模型进行了基准测试，发现最佳F1得分仅为0.462。

本论文的问题是研究科学杂志中的表格和文本的混合数据上的问题回答。目前在这个领域中缺乏基准数据集，因此需要提出一个新的数据集来评估现有的QA模型的鲁棒性。

论文提出了一个名为SciTabQA的新数据集，包含822个来自科学表格和其描述的问题-答案对，用于评估现有的Tabular QA模型的鲁棒性。通过这个数据集，论文评估了三种现有的Tabular QA模型的能力，即使用需要结构化数据（表格）和非结构化数据（文本）的异构信息和执行复杂的科学推理任务的能力。

值得关注的是，SciTabQA是一个创新的数据集，用于研究科学异构数据上的问题回答。实验结果表明，现有的Tabular QA模型在SciTabQA数据集上的表现不够理想，最好的F1得分仅为0.462。论文的代码和数据集已经公开。

在这个领域中，最近的相关研究包括：1.《A Benchmark Dataset for Table Retrieval and Passage Retrieval》；2.《TableQA: Table Question Answering by Semantic Parsing》；3.《TabFact: A Large-scale Dataset for Table-based Fact Verification》。