Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens

将孟加拉语文本准确转录为国际音标(IPA)是一项具有挑战性的任务，这是由于该语言的复杂音系和依赖于语境的音变造成的。对于地方孟加拉方言来说，这个挑战更加严峻，因为这些方言缺乏标准化的拼写约定，存在在这些地区流行的本地和外来词汇以及不同地区之间的音系差异。本文提出了一种方法，通过在涵盖孟加拉国六个地区的新数据集上引入District Guided Tokens(DGT)技术，解决这个序列到序列的问题。关键思想是在生成IPA转录之前，为模型提供有关输入文本的区域方言或“地区”的明确信息。这通过在输入序列前加入一个地区标记来实现，有效地引导模型理解与每个地区相关的独特音系模式。DGT技术被应用于fine-tune几个基于transformer的模型，用于这个新数据集。实验结果证明了DGT的有效性，ByT5模型在测试集中处理高比例的未登录词的能力使其表现优于像mT5、BanglaT5和umT5这样的基于单词的模型。所提出的方法强调了将地方方言信息纳入到具有不同音系变体的语言的普遍自然语言处理系统中的重要性。这项工作是“Bhashamul”挑战的结果，该挑战致力于解决将孟加拉语文本与地方方言转录为IPA的问题。训练和推理笔记本可通过竞赛链接获得。

本论文旨在解决孟加拉语文本到国际音标的转写问题，特别是针对地区方言的转写问题。

该论文提出了一种新的方法，即引入区域指导标记(DGT)技术，通过在输入序列前添加区域标记，将区域方言的信息纳入模型中，以更好地理解每个地区的语音特征。该方法在多个基于Transformer的模型上进行fine-tune，并取得了比现有模型更好的性能。

该论文的亮点包括提出了一种新的解决方案，即DGT技术，以解决孟加拉语地区方言的转写问题。实验采用了一个新的数据集，包括孟加拉国六个地区的文本。此外，该论文还开源了训练和推理笔记本，并比较了不同模型的性能。

在这个领域中，最近的相关研究包括使用深度学习技术进行孟加拉语文本转写的研究，如“基于深度学习的孟加拉语文本转写”（Deep Learning Based Transliteration of Bengali Text）和“使用注意力机制的孟加拉语到国际音标的转写”（Transliteration of Bengali to IPA using Attention Mechanism）。