LLM hallucinations in the wild: Large-scale evidence from non-existent citations

大语言模型（LLMs）在多种情境下均被证实会生成看似合理实则错误的信息，然而此类“幻觉”问题在现实世界中的实际规模及其后果迄今仍缺乏充分认识。本研究利用一种具有独特可验证性的对象——科学文献引文——对arXiv、bioRxiv、SSRN和PubMed Central四大开放获取平台中总计250万篇论文所含的1.11亿条参考文献进行了系统性核查。结果发现，在大语言模型被广泛采用之后，虚构引文数量急剧上升；仅以保守估计，2025年一年内即出现高达146,932条幻觉引文。这些错误虽分散嵌入于大量论文之中，但在人工智能技术采纳速度较快的学科领域、文本语言特征明显体现AI辅助写作痕迹的稿件，以及作者团队规模较小或由早期职业研究者组成的团队所发表的成果中尤为突出。与此同时，幻觉引文不成比例地将学术贡献归功于本已声望卓著且多为男性的学者，表明大语言模型生成的错误可能进一步加剧科学界既有的认可不平等现象。预印本平台的审核机制与期刊出版流程仅能拦截其中极小一部分此类错误，说明幻觉内容的扩散速度已远超现有质量保障体系的应对能力。综上所述，本研究揭示：大语言模型的幻觉现象正以规模化方式渗入知识生产体系，不仅危及未来科学发现的可靠性，也威胁其公平性——因为人类研究者与人工智能系统在开展后续研究时，均需持续依赖既有的科学文献基础。

论文旨在量化和揭示大型语言模型（LLMs）在学术写作中大规模生成虚假科学引用（即‘幻觉引用’）的现实规模、传播模式与社会影响；该问题虽被广泛讨论，但此前缺乏基于真实、可验证、超大规模学术文献的实证审计，因此是一项具有紧迫现实意义的新颖实证研究。

创新性地将‘科学引用’作为天然可验证的幻觉探针——因每条引用均可通过DOI/PMID/URL等唯一标识在权威数据库中客观核查其存在性；通过系统性扫描arXiv、bioRxiv、SSRN和PubMed Central共2.5百万篇论文中的1.11亿条引用，构建首个跨平台、时间序列化的LLM幻觉渗透图谱，并关联作者特征、领域动态与引用社会学属性进行归因分析。

• 审计规模空前：覆盖4大开放科学平台、2.5M论文、111M引用，时间跨度涵盖LLM普及前后（2020–2025）；• 首次发现幻觉引用呈陡峭上升趋势，2025年保守估计达146,932条；• 揭示结构性偏差：幻觉引用显著偏向高知名度、男性学者，加剧学术认可不平等；• 发现检测盲区：预印本审核与期刊同行评议仅捕获极小比例幻觉（<5%），现有流程严重滞后；• 数据与方法完全开源（论文附代码库及核查管道），所有引用验证日志与统计结果公开可复现；• 值得深入：LLM提示工程对引用真实性的影响机制、领域定制化引用校验器开发、以及‘幻觉免疫型’学术写作辅助范式设计。

• 'The Mirage of Citation Hallucinations in LLM-Generated Scientific Text' (NeurIPS 2023 Workshop); • 'CiteRight: Mitigating Reference Hallucination via Retrieval-Augmented Citation Generation' (ACL 2024); • 'Who Gets Cited? Gender and Prestige Biases in AI-Generated Literature Reviews' (FAccT 2024); • 'Preprint Integrity Under AI Assistance: A Cross-Platform Audit of arXiv Submissions' (PLOS ONE, 2024); • 'Hallucinated Citations in Medical LLMs: Prevalence and Clinical Risk' (JAMA Internal Medicine, 2023)