LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

自动并列评估已成为评估大型语言模型（LLMs）响应质量的一种有前途的方法。然而，分析这种评估方法的结果会带来可扩展性和可解释性方面的挑战。在本文中，我们提出了LLM比较器，这是一种新颖的可视化分析工具，可交互地分析自动并列评估的结果。该工具支持交互式工作流程，使用户能够了解模型何时以及为什么比基线模型表现更好或更差，以及两个模型的响应在质量上有何不同。我们通过与一家大型技术公司的研究人员和工程师密切合作，迭代设计和开发了这个工具。本文详细介绍了我们发现的用户挑战、工具的设计和开发，以及参与定期评估其模型的参与者的观察研究。

研究自然语言处理模型的自动化评估方法，如何解决评估结果的可扩展性和可解释性问题？

设计并开发了一个交互式可视化工具——LLM Comparator，用于分析自然语言处理模型的自动化评估结果。该工具可以帮助用户理解模型的表现差异以及两个模型响应的质量差异，解释模型表现的原因。

论文详细介绍了该工具的设计和开发过程，并通过与研究人员和工程师的合作进行了迭代。论文还介绍了观察性研究的结果，该研究使用该工具进行了实验，并且论文提到了该工具的一些亮点，如可交互性和可解释性。

近期的相关研究包括自然语言处理模型的自动化评估方法，以及可视化工具的开发。相关论文包括“BLEURT: Learning Robust Metrics for Text Generation”和“Visualizing and Understanding Recurrent Networks”。