EnronQA: Towards Personalized RAG over Private Documents

检索增强生成（RAG）已成为将知识密集型上下文引入大型语言模型（LLM）的最受欢迎方法之一，因为它能够在推理时引入本地上下文，而无需承担微调带来的成本或数据泄露风险。由于能够明确区分私人信息与LLM训练数据，RAG成为了许多企业LLM工作负载的基础，使公司能够通过客户的私有文档来增强LLM的理解能力。尽管RAG在企业部署中广泛应用于私有文档，但当前用于验证和优化RAG流水线的基准测试主要依赖于维基百科或通用网页等公开数据，几乎不包含个人化上下文。为了推动更个性化和私密化的RAG应用，我们发布了EnronQA基准测试数据集，该数据集包含150个不同用户的邮箱中的103,638封电子邮件及528,304个问题-答案对。EnronQA能够为基于私有数据的RAG流水线提供更好的基准测试支持，并允许在真实数据上试验个性化的检索设置。最后，我们利用EnronQA探讨了在处理私有文档时记忆与检索之间的权衡关系。

论文试图解决在企业环境中使用RAG（检索增强生成）技术时，如何有效评估和优化其在私有数据和个人化情境下的性能问题。当前的RAG基准测试主要依赖公共数据集（如维基百科），缺乏对私有或个性化数据的支持，因此需要一个更适合评估私人文档处理能力的基准。

论文提出了一种新的基准数据集EnronQA，包含103,638封电子邮件和528,304个问答对，覆盖150个不同的用户收件箱。通过这个数据集，可以更好地评估RAG模型在私人数据上的表现，并探索个性化检索设置的效果。相比现有研究，该数据集更贴近真实的企业和个人场景，填补了私人数据评估的空白。

1. 提供了一个大规模、真实的电子邮件数据集EnronQA，用于评估RAG模型在私人数据上的表现；2. 数据集支持个性化检索实验，能够分析不同用户的个性化需求；3. 探讨了记忆与检索之间的权衡问题，为优化RAG模型提供了新视角；4. 数据集已公开，便于后续研究者复现和扩展实验；值得深入研究的方向包括更复杂的个性化策略和跨领域数据的适用性。

最近的相关研究包括：1. 'Retrieval-Augmented Generation for Code Assistance'，探讨了RAG在代码生成中的应用；2. 'Long-Form Question Answering with Contextualized Retrieval'，研究了长篇文本生成中的上下文检索问题；3. 'Private Document Understanding with Transformer Models'，关注了如何保护隐私的同时理解文档内容；4. 'Benchmarking Large Language Models with Private Data'，提出了针对私有数据的语言模型评估方法。这些研究共同推动了RAG技术在特定领域的应用和发展。