Personalized LoRA for Human-Centered Text Understanding

在大多数个性化应用中，用户令牌数量通常达到百万级别，且没有明确的具体语义，因此有效且高效地将预训练语言模型（PLM）用于人类中心文本理解（HCTU）是具有挑战性的。标准和参数高效的方法（例如LoRA）需要为每个用户记忆许多适配器。在本研究中，我们引入了一个个性化LoRA（PLoRA）和一个即插即用（PnP）框架用于HCTU任务。PLoRA在PLM中是有效的、参数高效的，并可以动态部署。此外，我们采用了个性化的dropout和最大化互信息的策略，因此所提出的PLoRA可以很好地适应冷启动问题的少/零次学习场景。在四个基准数据集上进行的实验表明，所提出的方法在HCTU任务的完全/少量/零次学习场景中优于现有方法，即使它具有较少的可训练参数。为了可重复性，本文的代码可在https://github.com/yoyo-yun/PLoRA上获得。

PLoRA试图解决在个性化应用中，由于用户标记数量庞大且缺乏明确的语义，使得有效和高效地适应预训练语言模型（PLM）进行人类中心文本理解（HCTU）任务变得具有挑战性的问题。

该论文提出了一种个性化的LoRA（PLoRA）方法，采用即插即用（PnP）框架，可以在PLMs中动态部署。该方法采用个性化的dropout和最大化互信息的策略，可以很好地适应冷启动问题，实现在全/少/零样本学习场景下的HCTU任务。

该论文的亮点包括：1. 提出了一种个性化的LoRA方法，可以高效地适应个性化应用；2. 采用个性化的dropout和最大化互信息的策略，可以应对冷启动问题；3. 在四个基准数据集上进行实验，证明了该方法在全/少/零样本学习场景下的HCTU任务中优于现有方法；4. 代码已公开在GitHub上。

在这个领域中，最近的相关研究包括：1. AdapterHub：一种用于自适应预训练模型的开放式框架；2. Personalized Fine-Tuning for Dialogue Generation；3. Personalized Language Model Fine-Tuning with Long-Tail Exploration。