SETTP: Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning

文本风格转换是自然语言处理中一个重要的研究方向，旨在将文本适应于各种喜好，但通常面临资源有限的挑战。在这项工作中，我们引入了一种新的方法，称为通过双层可转移提示学习的风格提取和可调推理（SETTP），用于低资源场景下有效的风格转换。首先，SETTP从高资源的风格转换中学习源风格级别提示，包含基本的风格特征。在训练过程中，源风格级别提示通过一个注意力模块进行转移，以得出有益的知识提供低资源风格转换的目标风格级别提示。此外，我们提出了基于语义内容对目标资源进行聚类得到的实例级提示，以减少语义偏差。我们还提出了一种基于与人类评估的对齐的风格相似性自动评估方法，使用ChatGPT-4。我们在三种资源丰富的风格上的实验表明，SETTP只需要1/20的数据量就可以实现与最先进方法相当的性能。在涉及写作风格和角色风格等稀缺数据的任务中，SETTP的表现优于以前的方法16.24％。

本论文旨在解决自然语言处理中文本风格转换的低资源问题，提出了一种新的方法SETTP。

SETTP方法通过学习高资源风格转换中的源风格级别提示，并通过注意力模块将其转移，从而获得有益的知识提供，以便在低资源风格转换中学习目标风格级别提示。此外，论文还提出了基于语义内容聚类的实例级别提示来减少语义偏差。自动化的评估方法基于ChatGPT-4，通过与人类评估的对齐来衡量风格相似性。

SETTP方法只需要1/20的数据量即可达到与最先进方法相当的性能。在写作风格和角色风格等数据稀缺的任务中，SETTP的表现优于以前的方法16.24%。

近期在这个领域中的相关研究包括：1. A Neural Approach to Text Style Transfer via Reinforcement Learning；2. Style Transfer for Texts: Retrain or Adapt？；3. Unsupervised Cross-Domain Style Transfer for Text-to-Speech with Adversarial Losses。