Small Language Models are the Future of Agentic AI

大型语言模型 (LLMs) 通常因其在广泛任务中表现出接近人类的表现而受到赞誉，并因其能够进行通用对话的能力而被重视。然而，具有自主代理功能的 AI 系统的兴起，正在带来大量应用场景，在这些场景中，语言模型需要反复执行少量专门化任务，且变化较少。 在此，我们认为小型语言模型 (SLMs) 对于许多代理系统中的调用而言，已经具备足够的能力、本质上更加适合，并且在经济性上是必要的，因此它们将是代理 AI 的未来。我们的论点基于当前 SLMs 所展现的能力水平、代理系统的常见架构以及语言模型部署的经济性。此外，我们认为在需要通用对话能力的情况下，异构代理系统（即调用多个不同模型的代理）是自然的选择。我们还讨论了在代理系统中采用 SLMs 可能面临的障碍，并概述了一种将 LLM 转换为 SLM 的通用代理转换算法。 我们的观点以价值声明的形式表达，强调了即使从 LLMs 部分转向 SLMs，也将对 AI 代理行业产生重要的运营和经济影响。我们希望通过这一讨论推动对 AI 资源有效利用的关注，并努力降低当今 AI 的成本。我们欢迎对我们的观点进行补充或批评，并承诺将所有相关通信发布在 https://research.nvidia.com/labs/lpr/slm-agents。

论文试图解决如何在代理系统中更有效地使用语言模型的问题，特别是探讨小型语言模型（SLMs）是否可以替代大型语言模型（LLMs）以降低计算成本和提高经济性。这是一个重要但尚未被充分研究的问题，特别是在代理系统的具体应用场景中。

论文的关键思路是主张在许多代理系统任务中，SLMs足以胜任，并且比LLMs更具经济性和效率。此外，当需要通用对话能力时，建议采用异构代理系统（即多个不同模型协同工作）。这一思路的新意在于从经济性和任务适配性的角度重新评估了SLMs的价值，挑战了当前对LLMs的普遍依赖。

论文设计了一个从LLM到SLM的转换算法，并讨论了SLMs在代理系统中的适用场景及潜在障碍。虽然没有明确提到实验数据集或开源代码，但其对资源有效利用的讨论为未来的研究提供了方向。值得深入研究的内容包括：1）如何量化SLMs与LLMs在特定任务上的性能差异；2）开发更高效的SLM训练方法；3）探索异构代理系统的最佳配置方案。

相关研究包括：1）《Smaller Models Can Be Awesome Too: Rethinking the Role of Model Size in NLP》探讨了小型模型在自然语言处理中的潜力；2）《Efficient Fine-Tuning of Large Language Models for Downstream Tasks》研究了如何高效微调LLMs；3）《Heterogeneous Agent Architectures for Multi-Task Learning》提出了多任务学习中异构代理架构的设计。这些研究共同构成了关于模型规模、效率和任务适配性的广泛讨论。