NeurIPS 2025 | QCircuitBench: 面向大模型驱动的量子算法设计的基准测试

近年来，AI 在科学领域的应用逐渐兴起，尤其是大语言模型（LLM）辅助的算法设计成为热门方向。量子计算作为重要新兴科学领域，近年来得到重要关注。量子算法能够在若干计算任务上实现超多项式加速，但其设计过程复杂且不直观，长期依赖专家经验。与此同时，LLM 具备强大的先验知识与自然语言交互能力，却缺乏针对“量子算法设计”任务的标准评测平台。而现有量子计算基准主要针对于 NISQ 系统性能或编译工具^[2,6,7]，并不适用于模型训练或推理能力评估。

因此，我们提出 QCircuitBench^[1]，这是首个专为 LLM 驱动的量子算法设计构建的大规模基准测试数据集，填补了该领域的空白。

我们指出，构建 LLM 驱动量子算法设计评测基准需要解决三大核心挑战：

1. 任务表述的模糊性：自然语言描述冗长、含糊；纯数学表达虽然精确，却不利于自动验证。

2. Oracle 困境：理论上其应被视为黑盒，但实验上必须以显式量子门实现。

3. 经典后处理过程缺失：很多量子算法的输出，需要通过经典函数解释测量结果，否则无法完整验证算法功能。

为解决上述问题，QCircuitBench 采用了代码生成视角重新表述量子算法，核心包含 7 大组件：

1. 问题描述（含自然语言与 LaTeX）

2. 生成函数（Qiskit^[5]/Cirq^[3]生成器）

3. 算法线路（OpenQASM 3.0^[4]门级电路/Python 函数模块式门级电路）

4. 后处理函数（经典后处理与仿真）

5. Oracle/特殊 Gate 定义（黑盒 oracle 与复合门定义）

6. 评测函数（语法+语义验证）

7. 数据集构建函数（一键构建与清洗）

其中核心设计包括：

• 独立的 oracle.inc 库：在不破坏黑盒假设的前提下，提供可编译的门级定义；

• 必备经典后处理函数：统一输出测量结果解析流程；

• 显式 shot 数声明：用于衡量查询复杂度；

• 三层自动验证体系：涵盖 OpenQASM 语法、Python 语法与任务语义级校验，并实现全流程自动化评测。

同时，QCircuitBench 囊括三大量子计算核心任务套件，分别包括：

Task I：Oracle 构建 

该任务覆盖了 Bernstein-Vazirani、Deutsch-Jozsa、Simon、Grover（含扩散算子）等经典 Oracle 构造，并延展到实际问题中的 Oracle 构建上（如数独、三角形查找）。

Task II：量子算法设计

该任务包含了量子计算、量子信息与变分线路中的经典算法，如 Simon、Quantum Fourier Transformation、Quantum Teleportation、QAOA 等，也囊括了前沿算法，如 Multi-String Simon、Ternary Simon 等。

Task III：随机线路生成

该任务包含了带有目标态的，基于 Clifford 与 {H,S,T,CNOT} 通用门集的随机电路。

评测指标包括：

1. BLEU 与 Perplexity（语言层面）；

2. 语法验证（QASM 与 Python）；

3. 语义验证（任务级功能正确性）；

4. 效率指标（门数、shot 数、运行开销）。

1. BLEU ≠ 正确性：

在某些任务上，模型虽能生成表面相似的电路代码，但语义验证失败率仍高。

2. Few-shot > One-shot：

在模板化任务中 few-shot 明显优于 one-shot，但在复杂算法（如 QFT、Shor）上仍难以泛化。

3. 变分量子算法最具挑战：

VQE、QAOA 涉及量子-经典混合流程，对模型结构理解提出更高要求。

同时，在评测过程中，我们发现了 LLM 存在三种典型错误：

1）即兴错误

LLM 会使用非常规的命名空间（如 s，x，y 变量名）或未受支持的 OpenQASM 3.0 语法（如循环语句）等，导致无法通过语法测试。

此处，GPT-4o 使用了新的 qubits 命名方式 s, x, y，然而这些命名与 scope.global 中的符号表产生冲突，导致编译错误。

对于 few-shots 的场景，LLM 会尽量与示例保持一致，从而提升了 few-shots 下语法的正确率。

3）数据污染

我们发现，在 Qiskit 代码生成中，LLM 产生了“背题”情况：

实验结果显示，微调显著改善了模型在结构性任务上的表现。在 Grover 算法 上，Llama-3 的得分提高了 0.19；在 Bernstein–Vazirani 任务中，模型从“盲目在所有量子比特上施加 CNOT 门”逐渐学会仅在 secret-string 中为“1”的位置添加控制门，虽仍存在计数误差，但已能部分甚至完全识别正确。这表明微调帮助模型内化了 Oracle 的结构规律，具备了初步的“结构化学习”能力。

然而， 在 Clifford 与 Universal 随机电路生成等高复杂度任务中，模型的得分有所下降。我们猜测，这主要源于量子态向量的高维编码难度及任务输出空间过于多样，导致模型出现输出模式坍缩与过拟合。进一步的温度与熵分析结果印证了这一解释。

总体来看，微调实验揭示了 LLM 在量子算法设计领域的潜在上限与当前瓶颈——它能通过小规模微调掌握结构模式，却仍难以稳定泛化到高维量子态的生成任务。

[1] Yang R, Wang Z, Gu Y, et al. QCircuitBench: A Large-Scale Dataset for Benchmarking Quantum Algorithm Design[C] The Thirty-ninth Annual Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

[2] Chen K, Fang W, Guan J, et al. VeriQBench: A benchmark for multiple types of quantum circuits[J]. arXiv preprint arXiv:2206.10880, 2022.

[3] Cirq Developers. Cirq. Zenodo, Aug. 2025. doi: 10.5281/ZENODO.4062499. https://zenodo.org/doi/10.5281/zenodo.4062499.

[4] Cross A, Javadi-Abhari A, Alexander T, et al. OpenQASM 3: A broader and deeper quantum assembly language[J]. ACM Transactions on Quantum Computing, 2022, 3(3): 1-50.

[5] Javadi-Abhari A, Treinish M, Krsulich K, et al. Quantum computing with Qiskit[J]. arXiv preprint arXiv:2405.08810, 2024.

[6] Li A, Stein S, Krishnamoorthy S, et al. Qasmbench: A low-level quantum benchmark suite for nisq evaluation and simulation[J]. ACM Transactions on Quantum Computing, 2023, 4(2): 1-26.

[7] Quetschlich N, Burgholzer L, Wille R. MQT Bench: Benchmarking software and design automation tools for quantum computing[J]. Quantum, 2023, 7: 1062.

图文 | 王紫若、杨睿

PKU QUARK Lab