StoryScope: Investigating idiosyncrasies in AI fiction

随着人工智能生成小说日益普及，关于作者身份与原创性的讨论正逐渐成为评判文字作品的核心议题。当前该领域多数研究聚焦于识别人工智能写作在表层语言特征（如用词、句法等）上的痕迹；而我们则另辟蹊径，探究是否能在不依赖任何风格化线索的前提下，仅凭话语层面的叙事选择——例如人物能动性（character agency）与时间顺序的断裂性（chronological discontinuity）——来有效区分人工智能生成的故事与人类创作的故事。为此，我们提出了“StoryScope”这一分析流程：它可自动构建一个细粒度、可解释的话语级叙事特征空间，涵盖10个维度。我们将StoryScope应用于一个平行语料库，其中包含10,272条写作提示，每条提示均由一位人类作者与五种大语言模型（LLM）分别作答，共生成61,608篇故事，每篇约5,000词，并为每篇故事提取304项叙事特征。实验表明，**单凭叙事特征本身**，即可在“人类 vs. 人工智能”二分类任务中达到93.2%的宏平均F1值（macro-F1），在六类别作者归属任务（即区分人类作者与五种不同LLM）中亦达68.4%的宏平均F1值；其性能几乎未受损失——相较同时融合风格线索的完整模型，仅下降不到3%。进一步分析发现，一套精简的30项核心叙事特征已能捕捉大部分判别信号：人工智能生成的故事倾向于过度阐释主题、偏好结构工整、线索单一的线性情节；而人类创作的故事则更常将主人公的选择呈现为道德上更为暧昧模糊的抉择，并展现出更强的时间复杂性（如多线并行、倒叙插叙、时序跳跃等）。此外，针对各模型所提取的“指纹式”叙事特征，可实现高精度的六类别作者归属：例如，Claude生成的故事在事件张力递进方面明显趋于平缓；GPT系列模型则显著偏爱使用梦境序列；Gemini则惯于依赖外部化的角色外貌描写。我们还发现，人工智能生成的故事在叙事空间中高度聚类，集中分布于一个相对狭小的区域；而人类创作的故事则在该空间中展现出更广泛的离散性与多样性。更广泛地看，这些结果表明：人类原创作品与人工智能生成小说之间的本质差异，不仅体现在表层写作风格上，更植根于其底层叙事建构逻辑的根本分歧；而这种叙事建构层面的差异，本身即可作为可靠、稳健且具解释力的判别依据。

论文试图解决AI生成小说与人类创作小说在深层叙事结构（而非表面语言风格）上的可区分性问题，验证‘AI与人类在叙事认知建模层面存在系统性差异’这一假设。这是一个新问题：此前AI检测工作几乎全部聚焦于词频、 perplexity、n-gram异常等表层文本特征，而该文首次系统性地将作者身份判别锚定在 discourse-level 叙事选择（如角色能动性、时间非线性、道德模糊性）上。

提出StoryScope——一个可解释、细粒度的叙事特征提取流水线，自动从10个维度（如情节轨迹复杂度、因果链完整性、主角决策自主性、时间跳跃密度等）量化故事的深层叙事结构；关键创新在于将‘叙事认知偏好’形式化为可计算、可泛化的特征空间，并证明这些特征本身即构成强判别信号（93.2% human-vs-AI F1），无需任何词汇/语法/风格线索。

实验基于大规模平行语料库（10,272个相同prompt下6种作者——1人类+5大LLM——各自生成的~5k字故事，共61,608篇）；提取304个叙事特征，发现仅30个核心特征即可保留97%判别性能；发现AI叙事呈现‘主题过解释、情节单轨化、道德简化、时间扁平化’等共性模式，而人类叙事显著更分散、更复杂；每类LLM展现出独特‘叙事指纹’（如GPT偏爱梦境嵌套、Claude弱化事件张力）；代码与特征数据已开源；值得深入的方向包括：叙事特征与模型训练目标（RLHF vs SFT）的关联性分析、跨文化/体裁的叙事偏差迁移研究、以及将StoryScope用于AI写作辅助中的‘叙事多样性增强’反馈机制。

‘Stylometric Detection of LLM-Generated Text’ (AAAI 2023); ‘The Narrative Fallacy in AI Writing’ (ACL 2022); ‘Detecting AI-Generated Stories via Plot Graph Anomalies’ (EMNLP 2023); ‘Human vs. Machine: A Cognitive Linguistics Analysis of Story Causality’ (CogSci 2024); ‘LLM Narrative Coherence Benchmarks’ (NeurIPS Datasets & Benchmarks Track 2023)