ArzEn-LLM: Code-Switched Egyptian Arabic-English Translation and Speech Recognition Using LLMs

本文受到近年来埃及阿拉伯语和英语代码转换现象普遍增加的启发，探讨了机器翻译（MT）和自动语音识别（ASR）系统的复杂性，重点翻译了阿拉伯语-英语代码转换为英语或阿拉伯语。我们的目标是介绍开发这些系统所使用的方法，利用大型语言模型，如LLama和Gemma。在ASR领域，我们探讨了Whisper模型在代码转换的埃及阿拉伯语识别中的利用，详细介绍了我们的实验过程，包括数据预处理和训练技术。通过实现一个将ASR与MT集成的连续语音到文本翻译系统，我们旨在克服由有限资源和埃及阿拉伯语方言的独特特征带来的挑战。根据已建立的指标进行评估，我们的方法在英语翻译方面的表现有了显著提高，达到了56％的最新技术水平，阿拉伯语翻译方面提高了9.3％。由于代码转换在口语语言中具有深刻的内在特征，因此ASR系统能够有效处理这种现象至关重要。这种能力对于实现各种领域的无缝交互至关重要，包括商务谈判、文化交流和学术论述。我们的模型和代码可作为开源资源使用。代码：\url{http://github.com/ahmedheakl/arazn-llm}}，模型：\url{http://huggingface.co/collections/ahmedheakl/arazn-llm-662ceaf12777656607b9524e}。

论文旨在探讨机器翻译和自动语音识别系统在处理埃及阿拉伯语和英语混合语境中的挑战，通过开发基于大型语言模型的系统解决这些挑战。

论文提出了一种基于ASR和MT相结合的连续语音转文本翻译系统，使用Whisper模型进行阿拉伯语识别，并利用LLama和Gemma等大型语言模型进行翻译。

论文的实验结果显示，在英语翻译方面，相比于现有技术，本文的方法提高了56％，在阿拉伯语翻译方面提高了9.3％。论文的代码和模型均已开源。

近期的相关研究包括：'Code-switching in Arabic-English machine translation: a survey'和'Speech recognition for code-switching mixed Arabic-English language using deep neural network'