Robustness of LLMs to Perturbations in Text

拥有干净的数据集一直是大多数自然语言处理（NLP）系统的基本假设。然而，在现实场景中很难找到完全正确的文本，因此经常会使上述基本假设失效。最近，大型语言模型（LLMs）表现出了令人印象深刻的性能，但它们能否处理真实数据中不可避免的噪声呢？本研究通过调查LLMs对文本形态变化的弹性来解决这个关键问题。为此，我们人为地向各种数据集中引入不同程度的噪声，并系统地评估LLMs对原始文本的损坏变化的鲁棒性。我们的研究发现，与流行的观点相反，生成式LLMs对文本中的噪声扰动非常稳健。这与BERT或RoBERTa等预训练模型的表现不同，后者已被证明对恶化的噪声文本敏感。此外，我们还在多个真实世界基准测试中测试了LLMs的弹性，这些测试紧密模仿了野外常见的错误。仅需最少的提示，LLMs在语法错误纠正（GEC）和词汇语义变化（LSC）的基准任务上取得了新的最优结果。为了支持未来的研究，我们还发布了一个由人类注释的数据集，说明他们对LLM与人工纠正输出的偏好，以及重现我们结果的代码。

本文旨在研究大型语言模型（LLMs）在处理真实世界中存在的文本噪声时的鲁棒性。作者想要验证LLMs是否能够处理文本中的形态变化。

通过在不同数据集中人为引入噪声，系统地评估LLMs对文本中噪声的鲁棒性。结果表明，与预训练模型（如BERT或RoBERTa）相比，生成型LLMs对文本中的噪声非常鲁棒。作者还在多个真实世界基准测试中测试了LLMs的鲁棒性，并在语法错误纠正（GEC）和词汇语义变化（LSC）的基准任务上实现了新的最先进水平。

实验中使用了多个数据集，并发布了一个由人类注释的数据集，以评估LLMs和人类纠正文本的偏好。作者还发布了代码以便未来研究使用。

最近的相关研究包括：1）《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》；2）《RoBERTa: A Robustly Optimized BERT Pretraining Approach》。