SciQAG: A Framework for Auto-Generated Scientific Question Answering Dataset with Fine-grained Evaluation

这篇摘要介绍了使用问题-答案（QA）对来训练和评估大型语言模型（LLMs）的方法已经引起了相当大的关注。但是，可用的QA数据集中很少有基于科学文献中的知识。因此，作者提出了一个名为SciQAG的自动化生成科学问题答案的框架，用于从已发表的科学文献中自动生成和评估科学QA对。作者使用一个开源LLM对全文科学论文进行微调，生成了960000个科学QA对，并提出了一个五维度指标来评估生成的QA对的质量。作者通过基于LLM的评估表明，生成的QA对在五个维度上平均得分为3分的2.5分，表明他们的框架可以将论文中的关键知识转化为高质量的QA对。作者公开了数据集、模型和评估代码。

本论文试图通过自动从科学文献中生成和评估科学问答对的框架，填补了当前科学问答数据集中缺乏基于科学文献知识的空白。

本论文提出了一个自动化的框架，使用开源的大型语言模型从全文科学论文中生成科学问答对，并使用五维度指标来评估生成的问答对的质量。

本论文的实验结果表明，生成的科学问答对在五个维度上的平均得分为3分的0.83倍，证明了该框架可以在大规模上从论文中提取关键知识，并生成高质量的问答对。作者公开了数据集、模型和评估代码。

最近在这个领域中，还有一些相关的研究，例如：BioASQ，ComplexWebQA，MedQA等。