作者：Jiabao Ji, Yoon Kim, James Glass,等

简介：本文研究焦点向量框架对预训练语言生成模型的控制。预训练的基于transformer的语言生成模型的微调通常以端到端的方式进行，其中模型学会自己处理输入的相关部分。但是，不存在直接控制模型焦点的机制。这项工作旨在开发一种控制机制，用户可以通过该机制选择上下文范围作为模型关注的“亮点”，并生成相关输出。为了实现这一目标，作者使用可训练的“焦点向量”来增强预训练模型，这些“焦点向量”直接应用于模型的嵌入，而模型本身保持固定。这些向量经过归因方法的自动注释训练，可作为上下文重要性的指标。作者在两个核心生成任务上测试作者的方法：对话响应生成和抽象摘要。作者的实验表明，经过训练的焦点向量可以有效地引导模型生成与用户选择的焦点相关的输出。

论文下载：https://arxiv.org/pdf/2203.01146

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除