Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text

虽然大型语言模型（LLMs）在许多任务中取得了显著的表现，但它们内部运作的许多方面仍然不清楚。在这项研究中，我们提出了一种新的实验性见解，探究LLMs，特别是GPT-4，在经受大量字符级置换时的韧性。为了研究这一点，我们首先提出了Scrambled Bench，一个旨在测量LLMs处理混淆输入的能力的套件，包括从混淆的句子中恢复以及在给定混淆上下文的情况下回答问题。实验结果表明，大多数强大的LLMs表现出类似于typoglycemia的能力，这是一种现象，即即使单词中的字母被混淆，只要第一个和最后一个字母保持不变，人类也能理解单词的含义。更令人惊讶的是，我们发现只有GPT-4几乎完美地处理具有不自然错误的输入，即使在极端条件下，这项任务对于其他LLMs甚至对于人类来说都具有重大挑战。具体而言，即使每个单词中的所有字母都被完全混淆，GPT-4几乎可以完美地重构原始句子，将编辑距离降低了95％。尽管输入标记化受到混淆文本的严重干扰，但LLMs可以表现出如此的韧性，这是违反直觉的。

研究人工智能模型对于字符级置换的鲁棒性，特别是GPT-4模型的表现。

通过Scrambled Bench测试套件，研究模型处理置换输入的能力，发现GPT-4模型表现最为出色。

GPT-4模型展现了类似typoglycemia的能力，即可以理解单词即使字母被打乱，而且在处理置换输入时表现非常优秀，甚至可以几乎完美地还原原始句子。实验设计了Scrambled Bench测试套件，使用了多个数据集，发现GPT-4模型的表现远远超过其他模型和人类。

目前还没有太多相关研究，但是这篇论文提出的Scrambled Bench测试套件可以为后续研究提供一个有用的工具。