NoteLLM: A Retrievable Large Language Model for Note Recommendation

人们喜欢在在线社区中分享“笔记”，包括他们的经验。因此，推荐与用户兴趣相符的笔记已成为一项关键任务。现有的在线方法只是将笔记输入BERT模型以生成笔记嵌入以评估相似性。然而，它们可能未充分利用一些重要线索，例如标签或类别，这些线索代表笔记的关键概念。事实上，学习生成标签/类别可以潜在地增强笔记嵌入，两者都将关键笔记信息压缩到有限的内容中。此外，大型语言模型（LLMs）在理解自然语言方面显著优于BERT。将LLMs引入笔记推荐是有前途的。本文提出了一种新的统一框架NoteLLM，利用LLMs解决项目对项目（I2I）笔记推荐。具体而言，我们利用笔记压缩提示将笔记压缩为单个特殊标记，并通过对比学习方法进一步学习可能相关的笔记嵌入。此外，我们使用NoteLLM来总结笔记并通过指令调整自动生成标签/类别。在真实场景下的广泛验证证明了我们提出的方法相对于在线基线的有效性，并显示了小红书推荐系统的重大改进。

本论文旨在解决在线社区中笔记推荐的问题，提出了一种利用大型语言模型和自动生成标签/类别的方法，相较于现有方法，能更好地压缩笔记信息并提高推荐效果。

论文提出了一种统一的框架NoteLLM，利用大型语言模型（LLMs）通过对比学习方法学习相关笔记的嵌入，同时使用Note Compression Prompt将笔记压缩成一个特殊的标记，通过指导调整自动生成相关标签/类别，从而提高笔记的嵌入质量和推荐效果。

论文通过实验证明了NoteLLM方法相较于现有在线基准方法有更好的推荐效果，提高了Xiaohongshu社区的笔记推荐质量。此外，论文还使用了多个数据集进行实验，并开源了代码，为该领域的研究提供了参考。

在该领域的相关研究还包括：1.基于协同过滤的笔记推荐方法；2.利用深度学习方法提高笔记嵌入质量的研究；3.自动生成标签/类别的研究。