WritingBench: A Comprehensive Benchmark for Generative Writing

最近在大型语言模型（LLMs）方面的进展显著提升了文本生成能力，但评估其在生成写作中的表现仍然是一个挑战。现有的基准测试主要集中在通用文本生成或有限的写作任务上，未能捕捉到各个领域高质量书面内容的多样化需求。为了弥补这一差距，我们推出了WritingBench，这是一个全面的基准测试平台，旨在评估LLMs在6个核心写作领域和100个子领域的表现，涵盖创意、说服性、信息性和技术性写作。我们进一步提出了一种依赖于查询的评估框架，使LLMs能够动态生成特定实例的评估标准。该框架还结合了一个经过微调的批评模型来进行符合标准的评分，从而实现对风格、格式和长度的评估。通过数据整理能力，该框架的有效性得到了进一步验证，使得70亿参数的模型能够接近最先进的（SOTA）性能。我们开源了这个基准测试平台，以及评估工具和模块化框架组件，以推动LLMs在写作领域的进一步发展。

该论文试图解决大型语言模型（LLMs）在生成性写作任务中的评估挑战。现有的基准测试主要集中在通用文本生成或有限的写作任务上，未能充分反映高质量书面内容在不同领域的多样化需求。这是一个相对较新的问题，随着LLMs能力的增强，如何准确评估其在特定写作任务中的表现变得尤为重要。

论文的关键思路是提出WritingBench，一个全面的基准测试平台，旨在评估LLMs在6个核心写作领域和100个子领域的表现。此外，还引入了一个查询依赖的评估框架，使LLMs能够动态生成实例特定的评估标准，并通过微调的批评模型进行风格、格式和长度的评分。这一方法相比现有研究更具针对性和灵活性，填补了特定写作任务评估工具的空白。

论文的亮点包括：1) WritingBench覆盖了广泛的写作类型，确保了评估的全面性；2) 提出的评估框架不仅考虑了内容质量，还涵盖了风格、格式等多维度的评估；3) 数据库的构建使得7B参数的模型能够接近SOTA性能；4) 论文开源了基准测试、评估工具和模块化框架组件，促进了后续研究。实验设计详尽，涵盖了多个领域的数据集，且提供了开源代码。

最近在这个领域中，相关的研究还包括：1)《Evaluating Large Language Models for Creative Writing》探讨了LLMs在创意写作中的表现；2)《Benchmarking Language Models for Technical Documentation》专注于技术文档生成的评估；3)《Towards Automated Evaluation of Persuasive Texts》研究了说服性文本的自动化评估方法。这些研究共同推动了LLMs在特定写作任务中的应用和发展。