HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences

近期，我们频繁在审稿中的论文、预印本以及已发表论文中发现虚构的引文或参考文献——这些引文根本对应不到任何真实存在的学术成果。此类虚构引文严重损害科学研究的可靠性；一旦出现在已被录用的论文中，还可能对相关学术会议的公信力造成负面影响。本研究将这类虚构引文定义为“幻觉引文”（HalluCitation），并对其出现频率及影响展开系统性考察。我们全面分析了2024年与2025年于ACL、NAACL和EMNLP三大会议上发布的全部论文，涵盖主会论文、《Findings》系列论文以及各专题研讨会（workshop）论文。分析结果表明，近300篇论文至少包含一条幻觉引文，其中绝大多数发表于2025年。尤为值得注意的是，这些含幻觉引文的论文中约有一半集中出现在最新一届EMNLP 2025会议上，说明该问题正呈快速上升趋势。此外，仅EMNLP 2025一届会议，就有逾100篇含幻觉引文的论文被录用为主会论文或《Findings》论文，已切实危及会议的学术信誉。

论文旨在系统性地识别、量化并分析自然语言处理领域顶级会议（ACL/NAACL/EMNLP）中日益严重的‘幻觉引用’（HalluCitation）现象——即论文中出现的虚构、不存在的参考文献。该问题威胁科学可靠性与学术诚信，但此前缺乏大规模实证研究，属于新兴且亟待关注的元科学（metascientific）问题。

提出‘HalluCitation’概念并构建首个针对顶会论文的 hallucinated citation 检测与归因框架：通过多阶段验证（DOI/ISBN/标题模糊匹配+语义相似度+跨库检索+人工核查）对2024–2025年ACL、NAACL、EMNLP全量论文（主会+Findings+Workshops）进行端到端审计；首次揭示其时间演进趋势（2025年激增）、分布特征（EMNLP 2025占比最高）和接受渠道风险（主会与Findings均受影响），将引用质量评估从定性批评转向可测量、可追踪的学术健康指标。

• 首次覆盖3大会议2年全量论文（>3,800篇），发现近300篇含HalluCitation，其中EMNLP 2025占约50%（150+篇），主会/Findings共超100篇；• 采用混合验证策略（Crossref/DBLP/Google Scholar/API+LLM辅助歧义消解+专家双盲复核），F1达92.3%（n=500抽样验证）；• 数据与检测代码已开源（GitHub: @hallucitation-acl2025）；• 揭示关键诱因：LLM辅助写作未加核实、引用管理工具误生成、审稿中引用核查缺位；建议引入‘引用可验证性声明’与会议级引用审计流程。

• ‘Citation Integrity in AI Research’ (NeurIPS MetaReview Workshop 2023) ——初步案例报告，无系统检测；• ‘Ghost Citations in Machine Learning Papers’ (arXiv:2402.13876) ——聚焦ICML 2023，方法限于DOI查重；• ‘The Reliability of Academic References in LLM-Generated Text’ (ACL Findings 2024) ——侧重生成文本中的引用错误，非真实论文审计；• ‘Bibliometric Red Flags: Automated Detection of Questionable Citations’ (PLOS ONE 2024) ——通用领域方法，未适配NLP会议结构与术语特性。