NovelQA: A Benchmark for Long-Range Novel Question Answering

大型语言模型的快速发展引入了自然语言处理中的一个新领域，特别是在理解和处理长文本信息方面。然而，由于当前基准测试的限制，这些模型长文本能力的评估仍然是一个挑战。为了解决这个问题，我们介绍了NovelQA，这是一个专门设计用来测试扩展文本中LLMs能力的基准测试。NovelQA是由英语小说构建而成的，它提供了复杂性、长度和叙述连贯性的独特融合，使其成为评估LLMs深度文本理解的理想工具。本文介绍了NovelQA的设计和构建，重点介绍了它的手动注释和多样化的问题类型。我们在NovelQA上对长上下文LLMs进行评估，揭示了模型性能的重要见解，特别是强调它们在多跳推理、注重细节的问题和超过100,000个标记的极长输入方面面临的挑战。结果强调了进一步提高LLMs长上下文理解和计算文学研究的必要性。

NovelQA论文试图解决评估大型语言模型（LLMs）长文本能力的挑战，提出了一个新的基准数据集，即NovelQA，用于测试LLMs在长文本理解方面的能力。

NovelQA是一个基于英语小说构建的基准数据集，包含复杂、长、连贯的叙述，旨在测试LLMs对扩展文本的理解能力。

NovelQA基准数据集的构建是通过手动注释和多种不同类型的问题设计实现的。通过LLMs在NovelQA上的评估，论文揭示了LLMs在多跳推理、注重细节的问题和超过100,000个标记的极长输入等方面面临的挑战，强调了进一步改进LLMs长文本理解和计算文学研究的必要性。

与NovelQA相关的研究包括：GPT-3、Turing-NLG、LAMBADA、CoQA等。