MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory

当前的大型语言模型（LLMs）在知识密集型任务中表现出一定的能力，但它们受到依赖其参数作为隐式存储机制的限制。因此，它们在处理罕见知识和时间降解方面存在困难。此外，参数记忆的不可解释性使得理解和防止幻觉变得具有挑战性。参数记忆池和模型编辑只是部分解决方案。检索增强生成（RAG）-虽然是非参数的-也有其局限性：它缺乏结构，使解释能力复杂化，并使有效管理存储的知识变得困难。在本文中，我们介绍了MemLLM，一种通过集成结构化和显式的读写内存模块来增强LLMs的新方法。MemLLM通过使内存与模型动态交互并提高LLMs使用存储知识的能力来解决上述挑战。我们的实验表明，MemLLM提高了LLMs在语言建模和知识密集型任务中的性能和可解释性。我们认为，通过内存增强，MemLLM是使LLMs更加基于事实和真实的重要一步。

本文试图通过引入一个结构化和明确的读写内存模块，增强LLMs的性能和可解释性，从而解决LLMs在处理罕见知识和时间降解方面的局限性。

MemLLM通过与内存的动态交互，提高了LLMs在使用存储知识方面的能力，从而增强了LLMs的性能和可解释性。

本文的实验表明，MemLLM在语言建模和知识密集型任务中提高了LLMs的性能和可解释性。本文的亮点包括实验的设计、使用的数据集以及开源代码等。MemLLM是使LLMs更加接地气和事实的重要一步。

最近的相关研究包括Retrieval Augmented Generation (RAG)等。