Does AI-Assisted Coding Deliver? A Difference-in-Differences Study of Cursor's Impact on Software Projects

大型语言模型（LLM）已展现出彻底改变软件工程领域的巨大潜力。其中，LLM智能体在软件开发中的应用正迅速兴起，许多实践者声称采用后生产力成倍提升。然而，这些说法目前仍缺乏实证支持。本文旨在评估一种广受欢迎的LLM智能体助手——Cursor——在采用后对开发速度和软件质量所产生的因果效应。我们采用前沿的双重差分法，将采用Cursor的GitHub项目与一组未使用Cursor但特征相似的对照项目进行比较，从而实现因果效应的估计。研究发现，采用Cursor会显著且大幅地提升项目层面的开发速度，但这一提升是短暂的；与此同时，静态分析警告数量和代码复杂度也出现了显著且持续的上升。进一步采用面板广义矩估计方法分析表明，静态分析警告增多和代码复杂度升高是导致长期开发速度放缓的主要因素。本研究结果对软件工程从业者、LLM智能体助手的设计者以及相关研究人员均具有重要启示。

论文试图验证一个广泛使用的大型语言模型（LLM）代理助手Cursor对软件开发速度和代码质量的因果影响。尽管业界声称LLM代理能显著提升开发效率，但缺乏实证证据支持这些主张。该研究关注的是：采用Cursor是否真的能持续提升开发速度？它对代码质量有何长期影响？这是一个重要且相对较新的问题，尤其是在LLM代理迅速普及但缺乏严谨评估的背景下。

论文采用前沿的双重差分法（difference-in-differences）设计，将采用Cursor的GitHub项目与匹配的未采用项目进行对比，以估计其因果效应。进一步使用面板广义矩估计（GMM）分析中介机制，揭示代码复杂性和静态分析警告如何导致后期开发速度下降。其创新之处在于首次对LLM代理的实际工程影响进行因果推断，并识别出‘短期提速、长期技术债务积累’的权衡现象。

研究基于真实世界GitHub项目数据，构建了高质量的处理组与控制组；实验设计严谨，结合DiD与GMM方法增强了因果推断可靠性；发现Cursor带来显著但短暂的开发速度提升，同时引发持续增加的静态分析警告和代码复杂性；结果表明LLM代理可能加剧技术债务，从而反噬长期生产力；代码和数据未明确提及开源，但研究为后续工具设计提供了关键洞见——需在生成效率与代码可维护性之间平衡；未来可深入研究不同LLM代理策略、团队协作模式下的影响差异。

1. ‘Measuring the Impact of AI Assistants on Software Development Productivity’ 2. ‘The Role of Large Language Models in Programming: Evidence from GitHub Copilot’ 3. ‘Empirical Analysis of Technical Debt Accumulation in LLM-Generated Code’ 4. ‘Human-AI Collaboration in Software Engineering: A Longitudinal Study of Developer Behavior’ 5. ‘Code Quality Implications of Automated Code Generation Tools: A Static Analysis Perspective’