Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms

本文提出了一种新的方法，利用矩阵补全技术来近似MBR解码，重点关注机器翻译任务。我们将MBR解码形式化为矩阵补全问题，其中候选假设和伪参考翻译之间的效用度量分数形成了一个低秩矩阵。首先，我们通过实验证明了这些分数矩阵确实具有低秩结构。然后，我们利用这一点，仅计算分数的随机子集，并通过应用交替最小二乘（ALS）算法高效地恢复矩阵中的缺失条目，从而实现了MBR解码过程的快速近似。我们在机器翻译任务上的实验结果表明，与基准MBR解码相比，所提出的方法仅需要1/16的效用度量计算，同时在WMT22数据集（en<>de和en<>ru）上通过COMET22衡量的翻译质量相等。我们还将我们的方法与其他近似方法进行了基准测试，并在与它们进行比较时展示了质量上的提升。

本文针对文本生成任务中使用的最小贝叶斯风险（MBR）解码策略的计算复杂度过高的问题，提出了一种基于矩阵完成技术的MBR解码近似方法，旨在加速机器翻译等任务的实际应用。

将MBR解码问题转化为矩阵完成问题，利用候选假设和伪参考翻译之间的效用度量分数构成的低秩矩阵，仅计算其中的随机子集，并通过应用交替最小二乘（ALS）算法高效地恢复矩阵中的缺失项，从而实现对MBR解码过程的快速近似。

实验结果表明，与原始的MBR解码相比，该方法仅需要1/16的效用度量计算，而在WMT22数据集（en<>de和en<>ru）上的翻译质量（使用COMET22评估）相当。此外，该方法还与其他逼近方法进行了基准测试，并在质量上取得了进展。

最近的相关研究包括：《A Survey of Minimum Bayes-Risk Decoding》、《Efficient Minimum Bayes Risk Decoding for Large Vocabulary Speech Recognition》等。