Writing as a testbed for open ended agents

开放性任务对大语言模型（LLMs）尤其具有挑战性，因为其解空间非常广阔，需要同时进行广泛的探索并采用灵活的策略，特别是在成功缺乏明确客观定义的情况下。写作，由于其巨大的解空间和主观的评价标准，成为研究此类问题的一个有力测试平台。在本文中，我们探讨了大语言模型作为协作共同作者的潜力，它们能够自主地提出和实施文本改进。我们分析了三个突出的大语言模型——Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT-4o，重点关注它们的行为多样性、与人类的一致性以及迭代改进能力如何影响整体性能。本研究建立了一个用于评估自主写作代理的框架，并更广泛地揭示了构建能够在多样化开放领域中表现出色的系统所面临的根本挑战及潜在解决方案。

论文试图解决大型语言模型（LLMs）在开放性任务中的表现问题，特别是它们作为协作写作伙伴的能力。这是一个重要但尚未完全解决的问题，尤其是在如何定义和评估成功方面。

关键思路是通过分析三种主流LLM（Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT-4o）在自主写作改进中的表现，研究其行动多样性、与人类的对齐程度以及迭代改进能力。相比现有研究，该论文引入了更具体的框架来评估这些模型在开放性任务中的性能。

论文设计了一系列实验来测试模型在文本生成和改进建议中的表现，并提出了一个基准框架用于评估自主写作代理。虽然没有提及具体数据集或开源代码，但强调了未来可以深入研究的方向，例如增强模型的人类对齐能力和行动多样性。

最近的相关研究包括：1)《Evaluating Large Language Models for Creative Writing》探讨了LLMs在创意写作中的潜力；2)《Human-Like Text Editing with Large Language Models》研究了模型模仿人类编辑行为的能力；3)《Iterative Refinement in Language Models for Open-Ended Tasks》讨论了迭代改进机制的重要性。