标题：布法罗大学、京东｜Transformer-based Conditional Variational Autoencoder for Controllable Story Generation（基于变换器的条件变分自编码器用于可控的故事生成）

简介：我们研究了大规模潜在变量模型 (LVM)神经故事生成——一种未被充分探索的应用开放域长文本——目标有两个：生成有效性和可控性。 LVM，尤其是变分自编码器（VAE）通过利用灵活的分布潜在表示进行可控生成。最近，变换器和它的变种在没有显式潜在表示学习，因此缺乏令人满意的生成可控性。在本文中，我们提倡复兴潜在变量建模，本质上是表示学习的力量，在变换器时代增强可控性而不损害最先进的生成效率。具体来说，我们将潜在表示向量与基于变换器的预训练架构，用于构建条件变分自编码器。模型组件如编码器、解码器和变分后验都是建立在预训练的语言模型之上——本文特别提到的GPT2。实验证明了最先进的我们模型的条件生成能力，以及其出色的表征学习能力和可控性。