Advancing GenAI Assisted Programming--A Comparative Study on Prompt Efficiency and Code Quality Between GPT-4 and GLM-4

本研究旨在通过比较分析GPT-4和GLM-4，探索利用GenAI作为编程工具的最佳实践。通过评估不同复杂度水平的提示策略，我们发现最简单和直接的提示策略可以产生最好的代码生成结果。此外，添加类似CoT的预确认步骤可以进一步提高成功率。我们的结果表明，虽然GPT-4略优于GLM-4，但对于普通用户来说差异微乎其微。在我们简化的评估模型中，与传统编码规范相比，我们看到了30至100倍的代码生成效率显著提高。我们的GenAI编码研讨会突显了本研究开发的提示方法的有效性和易用性。我们观察到，GenAI辅助编码将引发编程领域的范式转变，这需要开发者承担围绕着监督和引导GenAI的新角色，并更加注重设定高层次目标和更多地从事创新。

探索利用GenAI作为编程工具的最佳实践，通过比较分析GPT-4和GLM-4，评估不同复杂度级别的提示策略，以确定最简单和直接的提示策略产生最佳的代码生成结果。

通过简化提示方法，以及添加类似于CoT的初步确认步骤，可以大大提高代码生成效率。研究结果表明，尽管GPT-4略优于GLM-4，但对于普通用户来说，差异微不足道。在简化的评估模型中，我们看到传统编码规范的代码生成效率显著提高了30到100倍。GenAI编程研讨会突出了本研究中开发的提示方法的有效性和易用性。

实验采用了哪些数据集和方法，结果如何？GenAI编程将引发编程领域的范式转变，需要开发人员承担围绕着监督和指导GenAI的新角色，并更加关注制定高级目标和更多地参与创新。

最近的相关研究未被提及。