PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing

将非结构化的研究资料整合撰写成学术论文，是人工智能驱动科学发现过程中一项至关重要却尚未得到充分探索的挑战。现有的自主写作系统往往与特定实验流程僵化绑定，所生成的文献综述也流于表面、缺乏深度。为此，我们提出“PaperOrchestra”——一种面向自动化AI研究论文撰写的多智能体框架。该框架能够灵活地将任意形式的前期写作素材（即无约束的原始材料）转化为可直接投稿的LaTeX格式论文，不仅涵盖全面、深入的文献综述，还自动生成各类可视化内容，例如数据图表与概念示意图。为客观评估系统性能，我们构建了“PaperWritingBench”，这是首个基于200篇顶级人工智能会议论文反向重构而成的标准化基准数据集，其中包含真实、完整的原始写作材料；同时配套开发了一整套自动化评测工具。在并排式人工评估中，“PaperOrchestra”显著优于现有各类自主写作基线方法：在文献综述质量方面，其绝对胜率高出基线模型50%–68%；在整篇论文质量方面，绝对胜率优势亦达14%–38%。

现有AI驱动的科研写作工具高度依赖特定实验流程，缺乏对非结构化、异构研究材料（如笔记、代码片段、图表草稿、零散文献引用）的灵活理解与整合能力，导致生成的文献综述肤浅、缺乏深度合成，难以产出符合顶会标准的完整LaTeX论文。这是一个尚未被系统建模和基准化的新兴挑战。

提出PaperOrchestra——首个面向科研写作全周期的多智能体协同框架：由‘材料理解代理’‘文献合成代理’‘可视化生成代理’和‘排版编排代理’组成，通过动态角色分工与反思式协作，将无约束原始材料（非结构化文本、代码输出、手绘草图描述等）端到端转化为逻辑连贯、论证严谨、含自动生成图表（含可复现plot与语义一致的概念图）的LaTeX稿件；核心创新在于解耦‘材料输入’与‘写作流程’，支持开放式预写作状态。

1) 构建PaperWritingBench：首个反向工程自200篇NeurIPS/ICML/ACL顶会论文的标准化基准，包含原始素材包（作者笔记、实验日志、参考文献列表、图表需求描述等）及对应真值论文；2) 全自动评估体系覆盖语言质量、文献覆盖度、逻辑一致性、图表相关性四维度；3) 人类盲评显示在文献综述质量上绝对胜率超基线50%-68%，整体稿件质量胜率高14%-38%；4) 框架开源（GitHub），支持用户上传任意格式预写材料；5) 值得深入：多模态材料对齐（如手写公式→LaTeX）、领域自适应合成、学术诚信保障（引用溯源与事实核查代理）。

AutoWriter (ACL'23), SciWriLLM (NeurIPS'23 Workshop), LitSense (EMNLP'22), PaperGen (ICLR'24 Spotlight), ScholarGPT (arXiv:2310.12229)