CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support

文献综述要求研究人员综合大量信息，随着科学文献的不断扩展，这一任务变得越来越具有挑战性。在这项工作中，我们调查了LLMs在生成科学研究的分层组织方面的潜力，以协助研究人员进行文献综述。我们将分层组织定义为树形结构，其中节点指的是主题类别，每个节点都链接到分配给该类别的研究。我们的基于naive LLM的分层结构生成管道从一组研究中生成了有希望但不完美的分层结构，这促使我们收集了CHIME，这是一个专注于生物医学领域的专家策划数据集，用于这项任务。考虑到从头开始构建层次结构的挑战性和耗时性，我们使用人在环中的过程，其中专家纠正LLM生成的层次结构中的错误（类别之间的链接和研究分配）。CHIME包含2,174个LLM生成的层次结构，涵盖472个主题，以及100个主题的专家校正层次结构。专家的纠正使我们能够量化LLM的性能，并发现虽然它们很擅长生成和组织类别，但它们分配研究到类别的能力还有待提高。我们尝试使用人类反馈训练一个校正模型，该模型通过12.6 F1点改善了研究分配。我们发布我们的数据集和模型，以鼓励研究开发更好的文献综述辅助工具。

如何使用语言模型生成科学文献的分类体系，以辅助研究人员进行文献综述？

使用语言模型生成科学文献的分类体系，并通过人工校对来改进分类体系的准确性。

通过构建一个专家校对的数据集，评估了语言模型生成的分类体系的性能，并尝试使用人工反馈来训练模型改进分类准确性。研究结果表明，语言模型在生成和组织分类方面表现良好，但是对于文献的分类分配仍有提升空间。

最近的相关研究包括使用自然语言处理技术来辅助文献综述，例如文献自动摘要和关键词提取。