教会计算机理解人类如何写作、说话，即所谓的自然语言处理（Natural Language Processing，NLP），这是人工智能研究领域最古老的挑战之一。然而，过去两年，方法出现了明显的变化。过去，研究主要集中在为特定任务开发特定框架，而今天强大的通用语言模型已经可以针对各种各样的不同任务进行微调。虽然前景看好，但这方面的努力都已经将这些通用模型应用于人类无需额外补充背景知识就能产生解决方案的任务（如情感分析）。

构建一个研究和情境化的模型更具挑战性，但它对未来的进步至关重要。最近，我们在这个领域取得了实质性的进展，我们的 RAG（RetrievalAugmentedGeneration，检索增强生成）架构是一个端到端的可差异化模型，它结合了信息检索组件（Facebook AI 的 基于稠密段落检索系统（dense-passage retrieval system）和 seq2seq 生成器（Facebook 的 BART 模型（Bidirectional and Auto-Regressive Transformers，双向和自回归 Transformer ））。与最大的预训练 seq2seq 语言模型相比，RAG 可以在知识密集型下游任务上进行微调，达到最优结果。而且与这些预训练模型不同，RAG 的内部知识可以轻松地随时更改或补充，从而使研究人员和工程师控制 RAG 所知道的内容，而不会浪费时间或算力来重新训练整个模型。

内容中包含的图片若涉及版权问题，请及时与我们联系删除