If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents

今天的主流大型语言模型（LLMs）不仅在规模上与过去的语言模型不同，而且它们是通过自然语言和形式语言（代码）的组合进行训练的。作为人类和计算机之间的媒介，代码将高级目标转化为可执行步骤，具有标准语法、逻辑一致性、抽象和模块化特征。在本次调查中，我们概述了将代码整合到LLMs的训练数据中的各种好处。具体而言，除了增强LLMs在代码生成方面的能力外，我们观察到代码的这些独特属性有助于（i）释放LLMs的推理能力，使它们能够应用于更复杂的自然语言任务；（ii）引导LLMs产生结构化和精确的中间步骤，然后通过函数调用连接到外部执行端；以及（iii）利用代码编译和执行环境，该环境还为模型改进提供了多样化的反馈。此外，我们追踪了这些由代码带来的LLMs的深刻能力是如何导致它们在智能代理（IAs）方面的出现，这些能力在需要理解指令、分解目标、规划和执行动作以及从反馈中提炼信息对于它们在下游任务中的成功至关重要的情况下发挥作用。最后，我们提出了几个赋予LLMs代码能力的关键挑战和未来方向。

将自然语言和编程语言相结合，提高大型语言模型的性能和应用能力。

将编程语言加入大型语言模型的训练数据中，能够提高语言模型的推理能力、生成结构化和精确的中间步骤，以及利用编译和执行环境提供反馈，从而使语言模型具有更强的智能代理能力。

通过代码的加入，大型语言模型能够更好地应用于复杂自然语言任务，成为智能代理，实现指令理解、目标分解、计划执行和反馈优化等功能。论文还介绍了该方法的实验设计和数据集使用，以及未来研究方向。

最近的相关研究包括《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》、《Deep Code Comment Generation》等。