Multilingual Blending: LLM Safety Alignment Evaluation with Language Mixture

随着安全问题在大型语言模型（LLMs）的开发生命周期中仍然是一个关键问题，研究人员和工业从业者越来越关注如何保护和使LLMs的行为与人类偏好和道德标准保持一致。LLMs在广泛的多语料库上进行训练，展现了强大的跨语言和跨领域的泛化能力。然而，当前的安全对齐实践主要集中在单语言情境中，这使得它们在复杂的多语言情境中的有效性，特别是在复杂的混合语言格式中的有效性，很大程度上尚未被探索。在本研究中，我们介绍了多语言混合（Multilingual Blending），这是一种混合语言查询-响应方案，旨在评估各种最先进的LLMs（例如GPT-4o、GPT-3.5、Llama3）在复杂的多语言条件下的安全对齐。我们进一步研究了语言可用性、形态和语言家族等语言模式，这些模式可能会影响多语言混合在破坏LLMs保障方面的有效性。我们的实验结果表明，在没有精心制作的提示模板的情况下，多语言混合显著增加了恶意查询的危害，导致LLM安全对齐的绕过率显著增加（GPT-3.5为67.23％，GPT-4o为40.34％），远远超过单语言基线。此外，多语言混合的性能明显不同，取决于固有的语言属性，不同形态和来自不同语言家族的语言更容易逃避安全对齐。这些发现强调了在复杂的多语言情境中评估LLMs并开发相应的安全对齐策略，以与它们卓越的跨语言泛化能力相一致的必要性。

本论文旨在解决大型语言模型在复杂多语言环境中的安全问题，验证单语言情境下的安全保障方法在多语言环境下的有效性。

本论文提出了一种混合语言的查询-响应方案，即Multilingual Blending，用于评估各种最先进的LLMs在复杂多语言环境下的安全保障。并探讨了语言可用性、形态和语言家族等语言模式对Multilingual Blending有效性的影响。

实验结果表明，Multilingual Blending在没有精心设计的提示模板的情况下，会显著增加恶意查询的危害，导致LLMs的安全保障被绕过。此外，Multilingual Blending的性能因语言固有的语言属性而异，不同形态和不同家族的语言更容易逃避安全保障。需要在复杂的多语言环境中评估LLMs并开发相应的安全保障策略。

相关研究包括但不限于：《Language Models are Few-Shot Learners》、《GPT-3: Language Models are Few-Shot Learners》、《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》等。