Large Language Model Programs

Imanol Schlag, Sainbayar Sukhbaatar, Asli Celikyilmaz, Wen-tau Yih, Jason Weston, Jürgen Schmidhuber, Xian Li
[The Swiss AI Lab IDSIA & Meta AI]

提出一种新方法Large Language Model Programs(LLM程序)，通过将预训练语言模型嵌入到算法或程序中，来进一步扩展语言模型的能力，解决更复杂的任务。该方法将主要问题递归地分解为子问题，然后利用模型进行求解，同时提高输入和输出的粒度，以便在不需要微调的情况下对模型的能力进行开发和测试。本文以证据支持的问答为例，展示了LLM程序的应用及其在性能上的提升。

  • 动机：大型预训练语言模型的能力已经得到了证明，但是研究者们想要更进一步地扩展它们的能力。
  • 方法：将LLM嵌入到程序中以进行更复杂的任务。
  • 优势：这种方法可以扩展LLM的能力，而无需进行微调。

https://arxiv.org/abs/2305.05364 


图片

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除