Every Language Counts: Learn and Unlearn in Multilingual LLMs

本文研究了有害信息在多语言大型语言模型（LLM）中的传播，并评估了各种遗忘方法的有效性。我们证明，无论它是哪种语言，一旦通过训练数据引入到这些模型中的虚假信息都会在不同的语言之间传播，从而损害生成内容的完整性和可靠性。我们的研究结果表明，标准的遗忘技术通常只关注英语数据，无法有效地减轻多语言环境中有害内容的传播，并可能无意中加强跨语言的有害内容。我们表明，只有同时解决英语和有害数据的原始语言中的有害响应，我们才能有效地消除所有语言的生成。这强调了全面的遗忘策略的关键性需要，考虑到现代LLM的多语言性质，以增强它们在不同语言环境下的安全性和可靠性。

本论文研究多语言大型语言模型中有害信息的传播，并评估各种遗忘方法的有效性。研究发现，有害信息一旦通过训练数据引入这些模型中，不论其所在的语言是什么，都会在不同语言之间传播，从而危及生成内容的完整性和可靠性。因此需要综合考虑多语言环境下的遗忘策略，以增强现代LLM在不同语言背景下的安全性和可靠性。

论文提出综合考虑多语言环境下的遗忘策略，以消除有害信息对不同语言生成内容的影响。

论文通过实验验证了有害信息在多语言LLM中的传播情况，并发现传统的遗忘技术无法有效消除有害信息在不同语言中的影响。论文提出的综合遗忘策略可以有效消除所有语言的生成内容中的有害信息。该研究还使用了多种数据集进行实验，并开源了代码。

在这个领域中，最近的相关研究包括《Language Models as Few-Shot Learners》、《Few-Shot Learning with Language Model Explanations》等。