【论文标题】Deep Extrapolation for Attribute-Enhanced Generation
【作者团队】Alvin Chan, Ali Madani, Ben Krause, Nikhil Naik
【发表时间】2021/07/07
【机 构】Salesforce Research
【论文链接】https://arxiv.org/pdf/2107.02968v1.pdf
 
对于在训练分布之外运行的深度神经网络来说，样本生成中的属性外推是一个挑战。本文为序列生成中的外推制定了聚焦自然语言和蛋白质的新的任务，并提出了GENhance，一个基于T5模型的预训练隐空间增强属性的生成框架。通过对电影评论和计算的蛋白质稳定性数据集的训练，GENhance效果优于包括MCMC，MCMC-T5，Gen-Disc在内其他生成方法，不需要在训练期间接触类似的数据即可以生成强阳性的文本评论和高度稳定的蛋白质序列。
 
总结：
- 我们正式确定了深度生成模型的外推任务，重点是在序列生成中增强属性，在合成物体设计中具有重要的科学应用。
- 我们介绍了GENhance，一个具有学习隐空间的正则化编码器-解码器框架，并展示了其严格的基线技术的卓越性能。
- 我们策划了NLP和蛋白质方面的推断基准。我们发布了数据、评估指标，以及用于自动评估生成质量的模型和脚本。
上图展示了属性增强的生成。外推法（左）的目标是生成属性值超过所有训练样本的样本，我们对蛋白质序列（中间）和电影评论（右边）的目标属性外推进行了探索，在这里产生了更稳定的蛋白质序列和更积极的文本评论。
上图展示了基线候选采样技术与GENhance的比较。左侧为一个基线生成器-鉴别器设置，其中生成器被训练为训练序列的分布模型，而鉴别器被训练为预测输入序列的属性值(∆∆G)。当从生成器中对候选者进行抽样时，鉴别器模型对生成的序列进行排序，然后可以由地面真理神谕进行评估。中间为MH-MCMC，其中没有生成器模型，而是通过迭代过程对候选序列进行抽样，其中排名最高的几代被保留在种群中，并随机变异以生成子代候选序列。右侧中，GENhance作为一个生成器，对输入序列施加条件。GENhance编码器代替了单独训练的判别器，用于对候选序列进行排序。
上图显示了GENhance生成的类似于ACE2的序列的ddG分布的最大变化 (即稳定性的提高)，ddG值以1的区间分档，三角形表示分布的平均值。