ElecBench: a Power Dispatch Evaluation Benchmark for Large Language Models

随着电力行业对电网稳定性的紧迫需求以及可再生能源整合和电力市场动态所带来的复杂挑战，电力行业越来越寻求创新技术解决方案。在这种背景下，大型语言模型(LLMs)已成为提高效率、促进电力行业智能进步的关键技术，其拥有出色的自然语言处理、逻辑推理和泛化能力。尽管具有潜力，但缺乏电力行业LLM性能评估基准限制了这些技术的有效应用。针对这一差距，本研究介绍了“ElecBench”，即电力行业LLM评估基准。ElecBench旨在通过提供全面的行业特定场景覆盖、深化专业知识测试和提高决策精度来克服现有评估基准的缺点。该框架将场景分为普通知识和专业业务，进一步分为六个核心绩效指标：事实性、逻辑性、稳定性、安全性、公平性和表达能力，并细分为24个子指标，提供对LLM在电力行业应用能力和限制的深入洞察。为确保透明度，我们已经公开了完整的测试集，评估了八个LLM在各种场景和指标下的性能。ElecBench旨在成为电力行业LLM应用的标准基准，支持不断更新场景、指标和模型，推动技术进步和应用。

论文旨在解决电力行业中使用大型语言模型（LLM）的性能评估标准缺失的问题，提出了一个名为ElecBench的评估基准，以便更好地评估LLM在电力行业中的应用效果。

ElecBench提供了电力行业特定场景的全面覆盖，深化了对专业知识的测试，并提高了决策精度。该框架将场景分为通用知识和专业业务，进一步分为六个核心性能指标，共分为24个子指标，为电力行业中LLM应用的能力和局限性提供了深入的洞察。

论文公开了完整的测试集，评估了八个LLM在不同场景和指标下的性能，以确保透明度。ElecBench旨在成为电力行业中LLM应用的标准基准，支持不断更新场景、指标和模型以推动技术进步和应用。

最近的相关研究包括LLM在其他行业的应用，以及其他评估LLM性能的基准研究。