Assessing the Effectiveness of GPT-4o in Climate Change Evidence Synthesis and Systematic Assessments: Preliminary Insights

在这篇研究简报中，我们探讨了使用GPT-4o这种最先进的大型语言模型（LLM）进行证据综合和系统评估任务的潜力。传统的工作流程需要大量领域专家手动审查和综合大量文献。科学文献的指数增长和最近LLMs的进展为利用新时代工具补充这些传统工作流程提供了机会。我们在全球适应性映射倡议（GAMI）创建的数据集样本上评估了GPT-4o在这些任务中的功效，其中我们检查了科学文献中与气候变化适应相关的特征提取的准确性，涵盖了三个专业水平。我们的结果表明，虽然GPT-4o在低专业水平任务（如地理位置识别）中可以实现高准确性，但在中等和高专业水平任务（如利益相关者识别和适应响应深度评估）中表现不够可靠。这些发现促使我们需要设计评估工作流程，利用GPT-4o这样的模型的优势，同时提供改进以提高它们在这些任务中的表现。

本篇论文旨在探讨使用GPT-40作为大型语言模型（LLM）在证据综合和系统评估任务中的潜力。传统的工作流需要大量领域专家手动审查和综合大量文献，而GPT-40提供了一种新的工具来补充这些传统工作流。

本文评估了GPT-40在全球适应性映射计划（GAMI）数据集的样本上执行这些任务的效果，结果表明，虽然GPT-40在低专业水平的任务（如地理位置识别）中可以实现高准确性，但在中等和高专业水平的任务（如利益相关者识别和评估适应响应的深度）中表现不可靠。这些发现促使我们设计评估工作流程，利用GPT-40等模型的优势，同时提供改进以提高其在这些任务上的性能。

本文使用GPT-40作为大型语言模型来完成证据综合和系统评估任务，评估了其在不同专业水平任务中的表现。结果表明，GPT-40在低专业水平任务中表现出色，但在中等和高专业水平任务中表现不可靠。这些发现提示我们需要设计评估工作流程，以利用GPT-40等模型的优势，并提供改进以提高其在这些任务上的性能。

近期的相关研究包括使用大型语言模型进行自然语言处理任务的研究，例如GPT-3和BERT。此外，还有一些关于证据综合和系统评估的研究，例如使用机器学习技术进行文献筛选和分类的研究。