DECIDER: A Rule-Controllable Decoding Strategy for Language Generation by Imitating Dual-System Cognitive Theory

基于词库的受限解码方法旨在通过特定的目标概念控制生成文本的意义或风格。现有的方法过于关注目标本身，导致缺乏关于如何实现目标的高层推理。然而，人类通常通过遵循某些规则来完成任务，这些规则不仅关注目标本身，还关注诱导目标出现的语义相关概念。在这项工作中，我们提出了DECIDER，一种受规则控制的受限语言生成解码策略，受到双系统认知理论的启发。具体而言，在DECIDER中，预训练语言模型（PLM）配备了一个逻辑推理器，以高层规则作为输入。然后，DECIDER允许规则信号在每个解码步骤中流入PLM。广泛的实验结果表明，DECIDER可以有效地遵循给定的规则，以更像人类的方式引导生成方向朝向目标。

DECIDER试图解决的问题是如何通过规则来控制生成文本的含义或风格，以及如何在生成过程中考虑语义相关概念的问题。这是一个新问题。

DECIDER提出了一种规则可控的解码策略，通过将逻辑推理器嵌入预训练语言模型（PLM）中，使规则信号可以在每个解码步骤中流入PLM，从而更加人性化地引导生成方向。

论文通过实验验证了DECIDER的有效性，并展示了其在生成句子、段落、对话等任务上的应用。论文使用了多个数据集进行实验，并公开了代码。DECIDER的思路可以进一步应用于其他自然语言处理任务。

在这个领域中，最近的相关研究包括：1. Controllable Text Generation with Plug and Play Language Models；2. Learning to Control the Specificity in Neural Response Generation；3. Controlled Text Generation with Transformer-based Models。