ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews

M D'Arcy, A Ross, E Bransom, B Kuehl, J Bragg, T Hope, D Downey
[Northwestern University & MIT & Allen Institute for AI]

ARIES：以同行评议回应为基础的科技论文编辑语料库

  • 动机：科学论文基于同行评审反馈的修订是一项具有挑战性的任务，不仅需要深厚的科学知识和推理能力，还需要能够识别高级反馈中的隐含请求，并选择最佳的方式来更新手稿。本文为大型语言模型引入了这个任务，并发布了ARIES，一个包含评审评论及其相应论文修改的数据集，以便训练和评估模型。
  • 方法：提出了两个版本的任务：评论-编辑对齐和编辑生成，并评估了几个基线，包括GPT-4。结果发现，模型甚至在确定与评论相对应的编辑方面都有困难，尤其是在评论以间接方式提出或者编辑符合评论的精神但不符合精确请求的情况下。当被要求生成编辑时，GPT-4通常会成功地解决表面层面的评论，但它会严格遵循反馈的措辞，而不是底层的意图，并且比人类编写的编辑包含更少的技术细节。
  • 优势：提供了一个评估NLP系统在科学助手所需的重要且未被充分研究的能力的测试平台，这些能力包括对科学论文全文的深入理解，以及推断出技术性人类反馈背后的意图并采取行动(修订论文)的能力。


介绍了ARIES数据集，包含科学论文的评审评论及其相应的编辑修订，用于训练和评估大型语言模型在理解和应对同行评审反馈方面的能力。

https://arxiv.org/abs/2306.12587 


图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除