EnviroExam: Benchmarking Environmental Science Knowledge of Large Language Models

在环境科学领域，拥有强大的评估指标对于确保大型语言模型的效力和准确性至关重要。我们提出了EnviroExam，一种综合评估方法，旨在评估大型语言模型在环境科学领域的知识水平。EnviroExam基于顶尖国际大学的课程设置，包括本科、硕士和博士课程，涵盖了42门核心课程的936个问题。通过对31个开源大型语言模型进行0-shot和5-shot测试，EnviroExam揭示了这些模型在环境科学领域的性能差异，并提供了详细的评估标准。结果显示，61.3%的模型通过了5-shot测试，而48.39%的模型通过了0-shot测试。通过引入变异系数作为指标，我们从多个角度评估了主流开源大型语言模型在环境科学领域的性能，为在该领域选择和微调语言模型提供了有效的标准。未来的研究将涉及使用专业的环境科学教材构建更多领域特定的测试集，以进一步提高评估的准确性和特异性。

EnviroExam试图解决在环境科学领域中，如何对大型语言模型进行有效评估的问题。

EnviroExam基于国际顶尖大学的课程大纲，设计了一个包含936个问题的测试集，通过0-shot和5-shot测试31个开源大型语言模型在环境科学领域的表现，并提供了详细的评估标准。

EnviroExam提供了一种全面的评估方法，可以评估大型语言模型在环境科学领域的知识水平。实验结果显示，61.3％的模型通过了5-shot测试，48.39％的模型通过了0-shot测试。该论文还引入了变异系数作为指标，从多个角度评估了主流开源大型语言模型在环境科学领域的表现，并提供了有效的选择和微调语言模型的标准。

最近的相关研究包括对大型语言模型的评估方法的探索，以及在特定领域内使用大型语言模型的研究。例如，一些论文探索了如何评估语言模型在特定领域的表现，例如医学和法律领域。