A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance

写作作为一种无处不在的人类交流形式，几乎渗透到当代生活的方方面面。因此，书面交流中的不准确或错误可能会导致深远的后果，从财务损失到潜在的危及生命的情况。拼写错误是最常见的写作错误之一，由于各种因素，经常遇到。本研究旨在利用神经网络，特别是利用双向编码器表示来自转换器（BERT）掩码语言模型，识别和纠正文本中不同的拼写错误。为了实现这一目标，我们编制了一个全面的数据集，包括非真实单词和真实单词错误，在分类不同类型的拼写错误之后。随后，使用了多个预训练的BERT模型。为了确保在纠正拼写错误方面的最佳性能，我们提出了一种结合了BERT掩码语言模型和Levenshtein距离的方法。我们的评估数据结果表明，本文所介绍的系统在识别和纠正拼写错误方面表现出了显著的能力，常常超过专为波斯语量身定制的现有系统。

本论文旨在通过神经网络来识别和纠正文本中的拼写错误，特别是利用BERT掩码语言模型，解决拼写错误的多样性问题。

本文提出了一种结合BERT掩码语言模型和Levenshtein距离的方法，以更好地纠正拼写错误。该方法在波斯语中的表现优于现有的系统。

本文编制了一个全面的数据集，包括非真实单词和真实单词错误，并对不同类型的拼写错误进行了分类。实验结果表明，该系统在识别和纠正拼写错误方面表现出色，实验设计合理，使用了多个预训练的BERT模型。

最近的相关研究包括使用神经网络进行拼写纠正的研究，如《Neural Network Based Spelling Correction for Persian Language》和《A Hybrid Approach to Persian Spell Checking Using Neural Networks and Rule-Based Methods》。