NoteLLM: A Retrievable Large Language Model for Note Recommendation

人们喜欢在在线社区分享“笔记”，包括他们的经验。因此，推荐与用户兴趣相符的笔记已成为一项关键任务。现有的在线方法仅将笔记输入BERT模型以生成笔记嵌入，以评估相似性。然而，它们可能未充分利用一些重要线索，例如标签或类别，这些线索代表笔记的关键概念。事实上，学习生成标签/类别可以潜在地增强笔记嵌入，两者都将关键笔记信息压缩到有限的内容中。此外，大型语言模型（LLM）在理解自然语言方面显著优于BERT。将LLM引入笔记推荐是有前途的。本文提出了一种新的统一框架NoteLLM，利用LLM来解决项目对项目（I2I）笔记推荐。具体而言，我们利用笔记压缩提示将笔记压缩为单个特殊标记，并通过对比学习方法进一步学习可能相关的笔记嵌入。此外，我们使用NoteLLM对笔记进行总结，并通过指令调整自动生成标签/类别。在真实场景下进行的广泛验证证明了我们提出的方法与在线基线相比的有效性，并在小红书的推荐系统中显示出重大改进。

论文旨在解决在线社区中笔记推荐的问题，提出一种利用大型语言模型（LLMs）和对比学习的方法，以及自动生成标签/类别的技术，以提高笔记推荐的效果。

论文提出了一种新的笔记推荐框架NoteLLM，通过使用LLMs和对比学习来学习笔记的嵌入，并利用Note Compression Prompt将笔记压缩成一个特殊标记，进一步提高推荐效果。此外，利用指导调整技术自动生成标签/类别。

论文的实验结果表明，NoteLLM方法相对于在线基准方法具有显著的推荐效果提升。此外，论文还提出了自动生成标签/类别的技术，为笔记推荐提供了更多的关键信息。论文使用了真实场景的数据集进行了广泛的验证，并公开了代码。

最近的相关研究包括使用BERT进行笔记推荐的方法。