LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation

机器翻译在医疗保健中是不可或缺的，可以在不同语言之间传播医疗知识。然而，复杂的医学术语对于实现足够的翻译质量和准确性提出了独特的挑战。本研究介绍了一种新颖的“LLMs-in-the-loop”方法，用于开发专门针对医学文本进行优化的监督神经机器翻译模型。虽然大型语言模型（LLMs）已经展示了强大的能力，但是本研究表明，使用高质量的领域内（主要是合成的）数据训练的小型专门模型甚至可以胜过大型的LLMs。 使用科学文章、合成的临床文件和医学文本编制了六种语言的自定义平行语料库。我们的“LLMs-in-the-loop”方法采用合成数据生成、严格的评估和代理编排来提高性能。我们使用MarianMT基础模型开发了小型医学翻译模型。我们引入了一个新的医学翻译测试数据集，以在该领域中标准化评估。在这个测试集上使用BLEU、METEOR、ROUGE和BERT分数进行评估，我们基于MarianMT的模型胜过了Google Translate、DeepL和GPT-4-Turbo。 结果表明，我们的“LLMs-in-the-loop”方法，结合精细调整高质量的领域特定数据，使专门的模型能够胜过通用的和一些大型系统。这项研究是专家小型模型系列的一部分，为未来的医疗保健相关的AI发展，包括去识别和生物医学实体提取模型铺平了道路。我们的研究强调了定制神经翻译模型和“LLMs-in-the-loop”方法通过改进数据生成、评估、代理和建模技术来推进该领域的潜力。

本论文旨在解决医学术语翻译中的语言障碍问题，提出了一种基于小型神经机器翻译模型的LLMs-in-the-loop方法。

该论文提出了一种利用合成数据训练小型医学翻译模型的方法，该方法能够优于大型通用模型和一些更大的系统。

论文使用自定义平行语料库，采用合成数据生成、严格的评估和代理编排等方法来提高性能。实验结果表明，该方法能够优于Google翻译、DeepL和GPT-4-Turbo等通用模型。此外，该论文还提出了一种新的医学翻译测试数据集，并探讨了未来的研究方向。

该领域最近的相关研究包括“Neural Machine Translation for Cross-Lingual Spoken Language Understanding”和“Neural Machine Translation with Large Output Vocabulary Using Byte-Level Input and Output”。