SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature

我们提出了SciRIFF（Instruction-Following和Finetuning的科学资源），一个包含137K个指令跟踪演示的数据集，涵盖了五种基本的科学文献理解能力：信息提取、摘要、问答、声明验证和分类。SciRIFF演示以其长输入上下文、详细任务规范和复杂的结构化输出而著称。虽然在特定领域（如临床医学和化学）中存在指令跟踪资源，但SciRIFF是第一个专注于从各种科学领域的研究文献中提取和综合信息的数据集。为了展示SciRIFF的效用，我们开发了一种样本高效的策略，通过在通用域和SciRIFF演示的混合数据上进行额外的微调，将通用指令跟踪模型适应于科学。在对九个保留的科学任务进行评估时，我们的模型——称为SciTulu——在7B和70B尺度上分别比强大的LLM基线提高了28.1%和6.5%，同时保持了基线的通用指令跟踪性能不到2%的差距。我们对SciRIFF有信心能促进LLMs的开发和评估，以帮助研究人员浏览日益增长的科学文献。我们发布了我们的数据集、模型检查点和数据处理和评估代码，以支持进一步的研究。

SciRIFF试图解决科学文献理解的问题，包括信息提取、摘要、问答、验证和分类。同时，它也试图提高通用指令跟随模型在科学领域的表现。这是一个新的问题。

SciRIFF是一个包含54个任务的数据集，涵盖了从科学文献中提取和综合信息的不同能力。通过在通用域和SciRIFF演示之间进行微调，SciRIFF可以帮助开发适用于科学领域的通用指令跟随模型。

SciRIFF是第一个专注于从研究文献中提取和综合信息的数据集。作者开发了一个名为SciTulu的模型，并在9个科学任务上进行了评估，表现出比强LMM基线更好的性能。作者还公开了他们的数据集、模型检查点、数据处理和评估代码，以促进进一步的研究。

在这个领域中，最近的相关研究包括针对特定领域的指令跟随资源，如临床医学和化学。