标题：Build NLP and Conversational AI Apps with Transformers and Large Scale Pre-Trained Language Models（使用变换器和大规模的预训练语言模型构建NLP和会话式AI应用）

作者：Chandra Khatri 职位：首席科学家兼AI研究负责人, Got It AI

简介：变换器卷了AI研究和产品社区。 我们已经看到他们在AI的多个领域取得了进步，例如自然语言处理（NLP），计算机视觉和机器人技术。 在此博客中，我将分享一些基于对话的AI，NLP和基于变换器的大规模语言模型（例如BERT和GPT-3）的一些背景知识，然后是有关流行应用程序以及如何构建NLP应用程序的一些示例。 自然语言处理与会话式AI

会话式人工智能涉及使机器以自然和有意义的方式与人（或其他机器）交互的技术。 互动可以涉及特定的目标（例如“搜索周末的电影”）或面向非目标的对象（例如社交对话），并且可以基于语音，文本和手语。 构建NLP应用程序和对话式AI系统可能涉及多项任务，例如语音处理，语言理解，对话管理和语言生成。 因此，它利用了NLP，音频处理和机器学习等多种技术。 对话式AI的演变

会话式人工智能已经改变了各个行业，例如自动化，联络中心和虚拟助手。他们经历了研究和开发的多个阶段。在1990年代之前，大多数系统都完全基于规则。随后出现了基于机器学习的系统，但是，仍然很难进行特定于应用程序的数据特征化以及管理多个域和场景。 2013年后，基于迁移学习和深度学习的系统通过将系统扩展到各种应用程序中的数百万用户，进一步提高了性能。为了应对这些挑战，在NLP中构建了基于“单词嵌入”的模型，而在会话AI中则提出了基于“技能”和“域-意图-插槽”的系统。尽管在过去的十年中取得了长足的进步，但大多数系统仍依赖大量的数据注释来理解语言，配置对话管理以及生成语言的模板。在过去的两年中，基于变压器的模型已被用于描述对话式AI各个方面的无监督学习和生成系统的功能：语音识别，语言理解，对话管理和语言生成，以及构建NLP应用程序。

基于语言模型（LM）和基于变压器的预训练大型LM

语言模型是单词序列上的概率分布。 简单来说，语言学习者学习单词的顺序及其表示。 由于我们通过单词进行交流，因此LM会学习给定语言或一组语言或给定上下文的单词分布。 对于一种给定的语言来说，这是一个很好的LM，可以看作是语言本身的表示。 由于LM是通过自我监督的方式进行训练的，即仅观察和学习单词的顺序而不知道单词的含义，因此他们可能知道单词的含义。 他们实际学习的是给定上下文的单词放置。

LM对于会话式AI任务和构建NLP应用至关重要。 一旦我们构建或训练了LM，只需将其微调或更新为给定的任务或数据，即可将它们用于各种应用程序。 像BERT和GPT-3这样的大规模预训练LM基于相同的概念，因此要构建它们，需要对具有数亿（BERT），数千亿（GPT-3）的大量数据（十亿个句子）进行训练 ），以及数万亿的参数（开关变压器）。 这些模型很大，几乎可以记住每个句子和相应的上下文，因此非常适合生成文本。 这些涉及LM的应用程序中涉及序列生成的某些应用程序，例如会话AI系统中的音乐生成，故事生成和响应生成，已经得到了显着改善。

如何在NLP和会话式AI应用程序中使用预训练的语言模型？

像Hugging Face和Google Colab这样的组织通过其开放源代码的贡献，使开发人员和研究人员非常容易地利用仅需几行代码的经过预训练的大型LM来构建NLP应用程序。 这些项目的开源性质极大地降低了研发的步伐。 随着优化和扩展，尝试新的想法变得非常容易。 开发人员只需要确定他们感兴趣的任务（例如，文本分类，问题解答，实体识别等）并收集相应的数据。 对于每个NLP和对话AI任务，存在多种语言的几种预训练模型的目录，开发人员/用户可以使用它们并对其进行进一步的微调。

使用变换器和预训练的大型LM使对话AI民主化

对话式AI的真正民主化将涉及通过自动从数据中发现模式，向所有应用程序用户提供具有“自训”和“自管”能力的模型的访问权限。 然后，它与数据管道和ML工具包无关。 AI模型处理这些问题。 它使深度学习和AI变得更加容易获得。 Got It AI是领先的会话式AI研发公司之一，它正在利用变形金刚和预先训练的大型LM将民主化的愿景变为现实。 它构建了对话式AI模型和产品，这些模型和产品具有“自动训练”和“自我管理”功能，并允许用户和客户通过“无代码AI”简单地进行监视和验证。

动态地址：https://opendatascience.com/build-nlp-and-conversational-ai-apps-with-transformers-and-large-scale-pre-trained-language-models/

内容中包含的图片若涉及版权问题，请及时与我们联系删除