- 简介2024年将是多维质量度量（MQM）分析翻译质量评估框架发布十周年。MQM错误分类法已被翻译和本地化行业从业者广泛使用，并成为许多派生项目的基础。机器翻译年会（WMT）上的人工和自动翻译质量评估共享任务都使用了MQM错误分类法。该指标建立在两个支柱上：错误分类法和评分模型。评分模型从注释数据中计算质量分数，详细说明如何将错误类型和严重程度计数转换为数字分数以确定内容是否符合规格。之前，只有原始评分模型被发布。今年4月，MQM委员会发布了线性校准评分模型，正式在此介绍，以及之前未发布的非线性评分模型。本文详细介绍了最新的MQM发展，并提出了一种适用于三个样本大小范围的翻译质量测量通用方法。它还解释了为什么应该对非常小的样本量（从一个句子开始）使用统计质量控制。
- 图表
- 解决问题该论文旨在解决机器翻译质量评估中的问题，提出了Multidimensional Quality Metrics（MQM）框架，包括错误类型和评分模型，以及适用于不同样本大小的通用方法。
- 关键思路MQM框架通过错误类型和严重程度计数转换为数字分数来评估翻译质量，提出了线性校准评分模型和非线性评分模型，并建议在非常小的样本大小时使用统计质量控制。
- 其它亮点论文介绍了MQM框架的最新发展，包括线性校准评分模型和非线性评分模型，以及适用于不同样本大小的通用方法。实验使用了WMT会议的数据集，并提供了开源代码。该论文的方法可为机器翻译质量评估提供更准确和可靠的方法。
- 最近在机器翻译质量评估领域的相关研究包括：1.基于神经网络的自动评估方法；2.使用语言模型的评估方法。
提问交流