标题：亚马逊｜Zero-Shot Controlled Generation with Encoder-Decoder Transformers（使用编码器-解码器变换器进行零样本控制生成）

简介：控制基于神经网络的自然语言生成模型在许多领域都有广泛的应用，例如机器翻译、文档摘要和对话系统。以零样本方式实现这种控制的方法非常重要，因为除其他原因外，它们不需要额外的带注释的数据和训练。在这项工作中，我们提出了以零样本方式控制基于编码器-解码器转换器的 NLG 模型的新方法。这是通过引入三个控制旋钮来实现的；即在生成时应用于这些模型的注意力偏差、解码器混合和上下文增强。这些旋钮通过直接操纵训练过的 NLG 模型来控制生成过程，以在生成的输出中实现所需的属性。我们表明，这些 NLG 模型不仅对此类操作具有鲁棒性，而且它们的行为可以在不影响其生成性能的情况下进行控制。