Qiskit HumanEval: An Evaluation Benchmark For Quantum Code Generative Models

量子程序通常是使用量子软件开发工具包（SDK）开发的。量子计算的快速发展需要新的工具来简化开发过程，其中一种工具可能是生成式人工智能（GenAI）。在这项研究中，我们介绍并使用了Qiskit HumanEval数据集，这是一个手动策划的任务集合，旨在评估大型语言模型（LLMs）使用Qiskit生成量子代码的能力。该数据集包含100多个量子计算任务，每个任务都配有提示、规范解决方案、全面的测试用例和难度评估，以评估生成解决方案的正确性。我们系统评估了一组LLMs对Qiskit HumanEval数据集任务的性能，并关注模型生成可执行量子代码的能力。我们的发现不仅证明了使用LLMs生成量子代码的可行性，还为该领域的持续发展建立了一个新的基准，并鼓励进一步探索和开发GenAI驱动的量子代码生成工具。

本论文旨在研究利用生成式人工智能（GenAI）来简化量子程序开发过程，并通过Qiskit HumanEval数据集评估大型语言模型（LLMs）在生成可执行的量子代码方面的表现。

论文的关键思路是通过使用GenAI来生成量子代码，同时使用Qiskit HumanEval数据集评估LLMs在生成可执行量子代码方面的表现。

论文使用了Qiskit HumanEval数据集，该数据集包含100多个量子计算任务，每个任务都有提示、标准解决方案、全面的测试用例和难度评估。作者系统地评估了一组LLMs在Qiskit HumanEval数据集的任务上的表现，并着重关注了模型生成可执行量子代码的能力。结果表明，使用LLMs生成量子代码是可行的，同时为该领域的进一步发展建立了新的基准。论文还探讨了GenAI驱动的量子代码生成工具的开发和发展，并提出了一些值得深入研究的问题。

在近期的相关研究中，也有一些关于使用人工智能技术来简化量子程序开发的研究。例如，题为“使用深度学习自动生成量子电路”的论文，以及题为“基于深度强化学习的量子程序自动生成”的论文。