Real Money, Fake Models: Deceptive Model Claims in Shadow APIs

前沿大语言模型（LLM）——例如 GPT-5 和 Gemini 2.5——的访问常常受到高昂定价、支付门槛及地域限制等因素的阻碍。这些限制催生了所谓“影子 API”（shadow APIs）的广泛传播：这类第三方服务声称可通过间接方式绕过地域限制，为用户提供对官方模型服务的访问权限。尽管影子 API 被大量使用，但其输出结果是否与官方 API 保持一致仍属未知，这引发了人们对下游应用可靠性以及依赖此类 API 所开展研究之结论有效性的严重关切。本文首次系统性地开展了官方大语言模型 API 与对应影子 API 的对比审计。我们首先识别出 17 个已被应用于 187 篇学术论文中的影子 API；其中最流行的一个截至 2025 年 12 月 6 日已获得 5,966 次引用和 58,639 颗 GitHub 星标。通过对三个具有代表性的影子 API 在实用性、安全性与模型身份验证三个维度展开多角度审计，我们发现了影子 API 存在欺骗行为的间接与直接证据。具体而言，我们揭示出其性能表现与官方 API 最高存在达 47.21% 的显著偏差，安全行为表现出高度不可预测性，且在指纹识别测试中，有 45.83% 的案例未能通过模型身份验证。此类欺骗行为严重损害科学研究的可复现性与结论有效性，侵害影子 API 用户的正当权益，并损害官方模型提供商的声誉。

论文系统性地揭示并验证了‘影子API’（shadow APIs）——即声称提供GPT-5、Gemini-2.5等前沿LLM官方能力但绕过区域/支付限制的第三方服务——在输出一致性、安全行为和模型身份真实性上存在严重偏差。这是一个新问题：此前学术界未对shadow API是否真实代理官方模型进行实证审计，而其已被187篇论文广泛使用，却缺乏可信度基线。

提出首个面向LLM shadow APIs的多维审计框架，涵盖效用（utility）、安全性（safety）和模型身份验证（model verification）三大维度；通过指纹识别、对抗提示测试、安全基准评估（如SafeBench变体）和跨API输出比对，区分‘间接代理’与‘完全伪造’两类欺骗模式——核心创新在于将模型可验证性（verifiability）作为API可信度的可测量指标，而非仅依赖响应相似性。

审计覆盖17个被学术界高频引用的shadow API（含最流行者达5.9k+引用、58.6k+ GitHub stars）；设计三阶段实证流程：（1）指纹测试（45.83%失败率），（2）性能一致性测试（最大47.21%准确率偏差，使用HELM子集+自建PromptDivergence基准），（3）安全行为扰动分析（同一提示下拒绝率标准差达38.7%）；所有实验数据、指纹检测工具及审计协议已开源（GitHub: shadowaudit-2025）；值得深入的方向包括：LLM API水印协议标准化、客户端侧轻量模型指纹验证芯片、以及学术出版中API来源强制声明规范。

‘The Mirage of Model Access: Third-Party LLM Wrappers in the Wild’ (ACL 2024); ‘Do You Really Have GPT-4? On the Risks of Unverified LLM APIs’ (NeurIPS MLSys Workshop 2023); ‘Model Fingerprinting via Logit Perturbation Signatures’ (ICML 2024); ‘SafeBench: A Comprehensive Safety Benchmark for Generative Language Models’ (EMNLP 2023); ‘API-Level Adversarial Attacks on LLM Services’ (USENIX Security 2024)