The Case for Evaluating Multimodal Translation Models on Text Datasets

一个好的评估框架应该通过衡量以下两个方面来评估多模式机器翻译（MMT）模型：1）它们利用视觉信息来帮助翻译任务的能力，2）它们翻译复杂句子的能力，就像纯文本机器翻译一样。然而，大多数当前的MMT工作是针对Multi30k测试集进行评估的，该测试集并不衡量这些属性。也就是说，MMT模型利用视觉信息的能力不能直接从Multi30k测试集结果中展示出来，而Multi30k中的句子是图像标题，即短小的描述性句子，与典型的纯文本机器翻译模型评估的复杂句子不同。因此，我们建议使用以下三个方面来评估MMT模型：1）CoMMuTE评估框架，该框架衡量MMT模型利用视觉信息的能力，2）纯文本WMT新闻翻译任务测试集，该测试集评估翻译复杂句子的性能，3）Multi30k测试集，用于衡量MMT模型对真实MMT数据集的性能。最后，我们对最近仅针对Multi30k数据集进行训练的MMT模型进行了评估，并展示了它们在纯文本测试集上的性能与最近的纯文本机器翻译模型相比的显著下降。

如何评估多模态机器翻译模型的性能？当前的评估方法是否能够充分衡量这些模型的使用视觉信息的能力和翻译复杂句子的能力？

提出使用CoMMuTE评估框架结合WMT新闻翻译任务测试集和Multi30k测试集来评估多模态机器翻译模型的性能，以充分衡量这些模型的使用视觉信息的能力和翻译复杂句子的能力，并针对最近仅使用Multi30k数据集训练的多模态机器翻译模型进行实验，发现其在文本翻译测试集上的性能明显下降。

论文提出了一个新的评估框架来充分衡量多模态机器翻译模型的性能，实验结果表明，仅使用Multi30k数据集训练的多模态机器翻译模型在文本翻译测试集上的性能明显下降；论文使用了CoMMuTE评估框架、WMT新闻翻译任务测试集和Multi30k测试集来评估模型的性能；论文没有提供开源代码。

最近的相关研究包括《A Survey of Multimodal Machine Learning》、《Multimodal Machine Learning: A Survey and Taxonomy》等。