买了心仪的漫画全集，却又苦于看不懂上面的文字，翻译成了一大难题。对于这个令人头疼的问题，来自 Mantra 公司、雅虎日本和东京大学的研究者帮你解决了。他们提出了一个全自动漫画翻译系统，可将漫画中的文字翻译成英文和中文。

漫画在世界各地都很流行，但大多数漫画中的文字没有翻译。如果能够迅速将漫画中的文字翻译成各种语言，那可就太棒了。近日，来自 Mantra 公司、雅虎日本和东京大学的研究者联合发表了一篇论文，提出了一种快速翻译漫画文本的方法。就像这样： 该研究解决了日漫（Japanese comics）的机器翻译问题，这涉及两个重要问题：语境感知和多模态翻译。在漫画中，文本和图像是以非结构化的方式混合在一起的，因此从图像中获取语境至关重要。但如何从图像中提取语境并集成到机器翻译模型中仍是一个尚待解决的问题。

论文地址：https://arxiv.org/pdf/2012.14271v1.pdf

此外，目前还没有用于训练和评估此类模型的语料库和基准。该论文为日漫翻译研究奠定了基础，主要贡献包括以下 4 点：

首先，该研究提出了一种多模态的语境感知翻译框架，也是首个结合漫画图像来获取语境信息的研究。该方法能够翻译对话气泡中的文本，这类文本通常需要语境信息（如其他对话气泡中的文本、说话者的性别等）才能够翻译； 其次，为了训练模型，研究者提出了基于成对的原始日漫及其译文自动构建语料库的方法。使用该方法可以构建大型平行语料库，且无需任何人工标注； 第三，该研究创建了一个新的日漫翻译评估基准； 最后，该研究在提出方法的基础上，设计了一个用于全自动日漫翻译的新系统。

内容中包含的图片若涉及版权问题，请及时与我们联系删除