Diffusion Guided Language Modeling

当前的语言模型在文本生成方面表现出了令人瞩目的熟练程度。然而，对于许多应用程序来说，控制生成语言的情感或毒性等属性是可取的，最好是针对每个特定的用例和目标受众进行定制。对于自回归语言模型，现有的指导方法容易出现解码错误，这些错误在生成过程中会逐渐积累并降低性能。相比之下，文本扩散模型可以很容易地通过简单的线性情感分类器进行指导，但它们的困惑度显著高于自回归模型。在本文中，我们使用了一种受指导的扩散模型来产生潜在的建议，以引导自回归语言模型生成具有所需属性的文本。我们的模型继承了自回归方法的无与伦比的流畅性和扩散方法的即插即用灵活性。我们展示了它在各种基准数据集上优于先前的即插即用指导方法。此外，在我们的框架中控制新属性可以简化为训练单个逻辑回归分类器。

本论文旨在解决文本生成中属性控制的问题，即如何生成具有特定属性（如情感、毒性等）的文本。

通过将扩散模型和自回归模型结合，提出了一种生成具有特定属性文本的新方法。具体来说，使用扩散模型生成潜在建议，然后将其输入自回归模型，从而生成具有所需属性的文本。

论文使用多个基准数据集对模型进行了评估，并表明该方法在具有不同属性控制的任务上均优于现有的方法。此外，该方法具有灵活性和易于实现的优点，并且新属性的控制只需要训练一个逻辑回归分类器。

最近的相关研究包括：1）使用自回归模型进行属性控制；2）使用扩散模型进行文本生成。