Impact of Non-Standard Unicode Characters on Security and Comprehension in Large Language Models

大型语言模型的进步显著提高了自然语言处理的水平。然而，仍然存在挑战，如越狱（提示注入导致LLM按照与其预期用途相反的指令操作）、幻觉（生成错误或误导性信息）和理解错误。本报告对15个不同模型的性能进行了比较分析，每个模型都经过了包含38个查询的标准化测试，涵盖了三个关键指标：越狱、幻觉和理解错误。这些模型的评估基于越狱、幻觉和理解错误的总发生次数。我们的工作揭示了这些模型固有的漏洞，并挑战了这些模型具有人类级别的语言理解的观点。我们在实证分析中研究了非标准Unicode字符对LLM的影响以及对最佳性能的LLM（包括GPT-4、Gemini 1.5 Pro、LlaMA-3-70B和Claude 3 Opus）的保护机制。通过将Unicode标准拉丁块之外的字母数字符号和其他语言的字符变体纳入考虑，我们观察到通过强化学习人类反馈（RLHF）实施的防护栏效力降低。因此，这些模型对内容策略违规和提示泄露的漏洞更为敏感。我们的研究还建议在LLM的训练数据中纳入非标准Unicode文本，以增强这些模型的能力。

本论文旨在比较分析15个不同的大型语言模型在三个关键指标（越狱、幻觉和理解错误）上的表现，揭示这些模型的固有漏洞并挑战这些模型达到人类语言理解水平的观念。

本论文通过在大型语言模型的训练数据中引入非标准Unicode文本，分析了这些模型对Unicode字符的敏感性和保护机制的有效性。研究结果表明，引入非标准Unicode文本可以降低模型的保护效果，从而增加模型对内容政策违规和提示泄漏的风险。

论文使用了38个查询作为标准化测试，并对15个不同的大型语言模型进行了比较分析。研究表明，引入非标准Unicode文本可以增强模型的能力，但也会增加模型的漏洞。此外，论文还提出了需要在大型语言模型的训练数据中引入非标准Unicode文本的建议。

最近在这个领域中，还有一些相关研究，例如“GPT-4: Next Generation Language Processing with Improved Robustness and Efficiency”和“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”。