LLM Interactive Optimization of Open Source Python Libraries -- Case Studies and Generalization

随着大型语言模型（LLMs）如GPT-3的出现，一个自然的问题是这些模型在源代码优化方面的利用程度。本文对知名的开源python库pillow和numpy进行了方法论严格的案例研究。我们发现，当有人类专家参与时，当代LLM ChatGPT-4（截至2023年9月和10月）在优化能源和计算效率方面非常熟练。然而，这仅适用于交互式使用。我们详细记录了我们的定性方法，并提供了记录和源代码，以避免实验者偏见。我们首先提供了与LLM交流以优化pillow库中_getextrema函数的详细描述，以及性能改进的定量评估。为了证明定性可复制性，我们报告了对pillow库中另一个位点和numpy库中一个代码位点的进一步尝试，以展示库内外的泛化。在所有尝试中，性能提高显著（因子高达38）。我们还没有省略失败的尝试（没有失败的尝试）。我们得出结论，LLMs是开源库中代码优化的有前途的工具，但人类专家的参与对于成功至关重要。尽管如此，我们对于实现实质性性能改进所需的迭代次数很少感到惊讶，这些改进对于参与者来说并不明显。我们希望引起注意的是这项研究的定性性质，更为稳健的定量研究需要引入选择代表样本的专家层面--我们邀请社区进行合作。

探讨大型语言模型在源代码优化方面的应用，特别是针对Python库Pillow和NumPy的优化。

使用ChatGPT-4模型进行交互式的源代码优化，发现该模型在能源和计算效率方面表现出色，但需要人类专家的参与。

通过案例研究展示了ChatGPT-4模型在源代码优化方面的潜力，实验结果表明模型可以显著提高性能。研究者提供了详细的方法论和实验数据，并邀请社区进行进一步的合作。

该研究是在最近探索大型语言模型在计算机编程领域的研究中的一部分，与其他相关研究一起构成了这个新兴领域的研究热点。