DeFine: A Decomposed and Fine-Grained Annotated Dataset for Long-form Article Generation

长篇文章生成（LFAG）面临诸如保持逻辑一致性、全面覆盖主题以及在长篇文章中维持叙述连贯性的挑战。现有的数据集往往缺乏有效分解任务所需的层次结构和细粒度标注，导致生成的文章内容浅显且组织松散。为了解决这些局限性，我们引入了DeFine，一个用于长篇文章生成的分解和细粒度标注数据集。DeFine的特点在于其层次分解策略以及将领域特定知识与多级标注相结合，确保文章生成过程中的细致控制和深度提升。为了构建该数据集，我们提出了一种多代理协作管道，系统地将生成过程分为四个部分：数据挖掘、引用检索、问答标注和数据清理。为了验证DeFine的有效性，我们设计并测试了三种LFAG基准模型：网络检索、本地检索和有根据的参考。我们使用DeFine训练数据集对Qwen2-7b-Instruct模型进行了微调。实验结果显示，在文本质量方面，特别是在主题覆盖范围、信息深度和内容保真度上，有了显著的改进。我们的数据集已公开，以促进未来的研究。

该论文试图解决长篇文章生成（LFAG）中的挑战，如保持逻辑一致性、全面的主题覆盖和叙事连贯性。现有的数据集往往缺乏分层结构和细粒度标注，导致生成的文章浅显且组织松散。这是否是一个新问题？虽然长文本生成一直是个研究热点，但针对这些具体挑战的系统性解决方案仍较为新颖。

论文的关键思路是引入一个名为DeFine的新数据集，该数据集通过分层分解策略和多级注解来增强文章生成的深度和精度。与现有研究相比，DeFine不仅提供了更精细的任务分解，还结合了领域特定知识，确保生成内容的准确性和丰富性。这种分层和细粒度的方法在当前研究中具有创新性。

论文的亮点包括：1) 提出了一个多代理协作管道，将生成过程分为四个部分：数据挖掘、引用检索、问答注释和数据清理；2) 设计并测试了三种基线模型：网络检索、本地检索和有根据的参考；3) 使用Qwen2-7b-Instruct模型进行微调，并展示了在主题覆盖、信息深度和内容保真度方面的显著改进；4) 数据集已公开，便于未来研究。此外，实验设计严谨，使用了自建的DeFine数据集。

最近在这个领域的相关研究包括：1) 文章自动摘要生成技术的进步；2) 大规模预训练语言模型的应用；3) 结构化数据对文本生成的影响。一些相关的研究论文标题如《Enhancing Long-form Text Generation with Structured Knowledge》、《Improving Coherence in Generated Text through Hierarchical Models》等。