WritingBench: A Comprehensive Benchmark for Generative Writing

近期大型语言模型（LLMs）的技术进步显著提升了文本生成能力，但对其在生成写作方面的性能评估仍然是一个挑战。现有的基准测试主要集中在通用文本生成或有限的写作任务上，未能涵盖各个领域高质量书面内容的多样化需求。为填补这一空白，我们提出了 WritingBench，这是一个全面的基准测试平台，旨在评估 LLMs 在六大核心写作领域和一百个子领域的表现，包括创意写作、说服性写作、信息性写作和技术写作。此外，我们还提出了一种依赖查询的评估框架，使 LLMs 能够动态生成特定实例的评估标准。该框架通过微调的批评模型进行基于标准的评分，从而实现对风格、格式和长度的评估。框架的有效性还通过其数据整理能力得到了进一步验证，这使得参数量为 70 亿的模型能够接近最先进的（SOTA）性能水平。我们开源了这一基准测试平台，以及相关的评估工具和模块化框架组件，以推动 LLMs 在写作领域的进一步发展。

该论文试图解决当前大型语言模型（LLMs）在生成写作任务中缺乏全面评估标准的问题。现有的基准测试主要关注通用文本生成或特定有限任务，未能充分涵盖高质量写作所需的多样化要求。这是一个尚未被充分解决的问题，尤其是在跨领域和多维度的写作评估方面。

论文提出了一种名为WritingBench的综合基准测试框架，涵盖了6个核心写作领域和100个子领域，包括创意、说服性、信息性和技术性写作等。此外，还引入了一个查询依赖型评价框架，允许LLMs根据具体实例动态生成评估标准，并结合一个经过微调的批评模型进行风格、格式和长度的评分。这种基于实例的评估方法是现有研究中的创新点。

论文设计了详细的实验来验证其框架的有效性，证明即使是7亿参数规模的模型也能通过数据优化达到接近SOTA的效果。此外，作者开源了WritingBench基准测试工具及其模块化组件，为未来的研究提供了便利。值得进一步探索的方向包括将此框架扩展到更多语言和更复杂的任务场景中。

近期相关的研究包括：1)「GLUE Benchmark」和「SuperGLUE Benchmark」，虽然专注于自然语言理解但未涉及生成写作；2) 「StoryCloze Test」用于评估故事生成能力；3) 「MWP Dataset」针对数学问题生成任务；4) 「CritiqueLM: Fine-Tuning Language Models for Constructive Feedback」提出了类似批评模型的概念。这些工作共同推动了语言模型在不同应用场景下的表现提升。