Preserving Knowledge in Large Language Model with Model-Agnostic Self-Decompression

简介

人类可以在学习新知识的同时保留旧知识，但是大型语言模型（LLMs）在预训练或特定领域数据的监督微调（SFT）时往往会遭受灾难性遗忘。此外，对于由LLM基础和视觉投影仪（例如LLaVA）组成的多模态大型语言模型（MLLMs），与其单模态对应物相比，在语言基准测试中观察到了显著的性能下降。为了解决这些挑战，我们引入了一种新颖的模型无关自解压方法——树生成（TG），它将LLMs中的知识解压缩到训练语料库中。本文重点介绍TG-SFT，它可以合成SFT数据用于指导微调步骤。通过在MLLMs的SFT过程中结合转储语料库，我们显著减少了遗忘问题。
作者讲解

目前尚无作者解读视频，你可点击下方【许愿开讲】按钮，许愿作者开讲~
图表
解决问题

解决LLMs在SFT过程中遭受灾难性遗忘的问题，以及MLLMs在语言基准测试中表现下降的问题。
关键思路

引入一种新的模型无关的自解压方法，Tree Generation（TG），将LLMs中的知识解压到训练语料库中，以生成SFT数据来减轻遗忘问题。
其它亮点

论文提出的TG-SFT方法在MLLMs的语言基准测试中表现出色，显著降低了遗忘问题；实验使用了多个数据集，并开源了代码。
相关研究

最近的相关研究包括《Continual Learning with Hypernetworks》、《Gradient Episodic Memory for Continual Learning》等。