PAP-REC: Personalized Automatic Prompt for Recommendation Language Model

最近出现的基于提示的推荐语言模型（RLM）可以统一解决多个推荐任务。RLM充分利用从丰富的预训练数据中学到的继承知识，通过提示解决下游推荐任务，而不引入额外的参数或网络训练。然而，手工制作提示需要显著的专业知识和人力，因为稍微改写提示可能会导致巨大的性能变化。本文提出了PAP-REC，一个生成个性化自动提示的框架，以减轻手动设计提示引起的低效和无效问题。具体而言，个性化自动提示允许不同用户在相同任务中具有不同的提示标记，使用基于梯度的方法自动生成。个性化自动提示生成推荐语言模型的一个挑战是极其庞大的搜索空间，导致收敛时间很长。为了有效和高效地解决这个问题，我们开发了替代指标，并利用替代更新计划来提示推荐语言模型。实验结果表明，我们的PAP-REC框架成功生成了个性化提示，并且自动生成的提示优于手工制作的提示，也优于各种基线推荐模型。该工作的源代码可在https://github.com/rutgerswiselab/PAP-REC上获得。

本论文旨在解决手动设计提示语的低效性和不足之处，提出了一种生成个性化自动提示语的框架PAP-REC，以提高推荐语言模型的性能。

PAP-REC框架使用基于梯度的方法自动生成个性化提示语，以解决手动设计提示语的问题。同时，该框架还使用替代指标和替代更新策略，以有效地减少搜索空间并提高性能。

实验结果表明，PAP-REC框架生成的自动提示语优于手动设计的提示语，并且优于各种基线推荐模型。此外，该论文提供了开源代码，并使用了多个数据集进行实验，为今后的研究提供了参考。

最近的相关研究包括《Prompt Engineering for Large Scale Text Classification》和《Fine-tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping》等。