EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models

我们介绍了EQ-Bench，这是一个新颖的基准测试，旨在评估大型语言模型（LLM）中情感智能的各个方面。我们通过要求LLM预测对话中角色情感状态的强度，评估LLM理解复杂情感和社交互动的能力。该基准测试能够有效地区分各种模型。我们发现，EQ-Bench与综合多领域基准测试（如MMLU（Hendrycks等人，2020））强相关（r = 0.97），这表明我们可能捕捉到了广泛智能的类似方面。我们的基准测试使用60个英语问题产生高度可重复的结果。我们还提供了一个自动化基准测试管道的开源代码，网址为https://github.com/EQ-bench/EQ-Bench，以及一个排行榜，网址为https://www.eqbench.com。

EQ-Bench旨在评估大型语言模型（LLMs）在情感智能方面的能力，以预测对话中角色的情感状态强度。

EQ-Bench使用60个英语问题来区分不同的模型，并且与其他多领域基准测试的相关性很高，具有很高的可重复性。

EQ-Bench提供了一个开源的自动化基准测试管道和排行榜。实验设计得很好，使用了多个数据集来评估模型的性能。EQ-Bench的结果表明，情感智能是LLMs的一个重要挑战，值得继续深入研究。

最近的相关研究包括MMLU（Hendrycks等人，2020），以及其他旨在评估LLMs性能的基准测试，如GLUE和SuperGLUE。