GPT-3.5 for Grammatical Error Correction

本文研究了GPT-3.5在多种语言的语法纠错（GEC）中的应用，包括零-shot GEC、GEC微调以及使用GPT-3.5重新排列其他GEC模型生成的纠错假设。在零-shot设置中，我们使用多种方法对GPT-3.5提出的更正进行了自动评估：使用语言模型（LMs）估计语法正确性、Scribendi测试以及比较句子的语义嵌入。GPT-3.5已知有过度纠正错误句子和提出替代性更正的倾向。对于捷克语、德语、俄语、西班牙语和乌克兰语等几种语言，GPT-3.5会大幅改变源句子，包括它们的语义，这对使用基于参考的度量方法进行评估提出了重大挑战。对于英语，GPT-3.5表现出高的召回率，生成流畅的更正，通常保留句子的语义。然而，对于英语和俄语，人类评估表明，尽管其具有强大的错误检测能力，但GPT-3.5在几种错误类型上仍存在困难，包括标点错误、时态错误、词之间的句法依存关系以及句子级别的词汇兼容性。

使用GPT-3.5进行多语言语法错误纠正，评估其性能和挑战。

使用GPT-3.5进行语法错误纠正的三种方法：零-shot、微调和重新排名。GPT-3.5在某些语言中能够有效地检测错误，但在标点符号、时态错误、句法依赖和词汇兼容性等方面存在挑战。

论文对多种语言进行了实验评估，包括使用多种方法进行自动评估，发现GPT-3.5在英语方面具有高召回率和流畅的纠正能力，并且通常保留句子的语义。但是在其他语言中，GPT-3.5会对源句子进行大量修改，包括语义修改，这给基于参考指标的评估带来了显著挑战。

最近的相关研究包括使用其他神经网络模型进行语法错误纠正，如BERT、LSTM等。