Evaluating AI-generated code for C++, Fortran, Go, Java, Julia, Matlab, Python, R, and Rust

这项研究评估了ChatGPT版本3.5和4在多种编程语言中生成代码的能力。我们的目标是评估这些AI模型在生成科学程序方面的有效性。为此，我们要求ChatGPT生成三种不同的代码：简单的数值积分、共轭梯度求解器和基于1D平行阶梯热方程求解器。我们的分析重点是代码的编译、运行时性能和准确性。虽然ChatGPT的两个版本都成功地创建了可以编译和运行的代码（有些需要帮助），但有些语言对于AI来说比其他语言更容易使用（可能是由于使用的训练集的大小）。并行代码-即使是我们选择研究的简单示例-也难以正确生成。

评估ChatGPT在生成科学程序方面的能力，包括编译、运行性能和准确性。

使用ChatGPT生成三个不同的代码，并分析其编译、运行性能和准确性。

实验结果表明，ChatGPT 3.5和4都能够生成能够编译和运行的代码，但在某些编程语言和并行代码方面仍存在困难。研究提供了一个新的方法来生成科学程序。

最近的相关研究包括使用深度学习生成代码的工作，如Code2Vec和CodeBERT。