On the True Distribution Approximation of Minimum Bayes-Risk Decoding

最小贝叶斯风险（MBR）解码在文本生成中最近受到了重新关注。MBR解码将从模型中采样的文本视为伪参考，并选择与其他文本相似度最高的文本。因此，采样是MBR解码的关键要素，先前的研究报告表明，性能因采样方法而异。从理论上讲，这种性能变化可能与样本近似于真实参考分布的程度有关。然而，这种近似并没有受到深入研究。在本研究中，我们提出使用异常检测来衡量近似程度。我们首先仔细研究了性能变化，然后表明以前关于样本的假设与变化的相关性不高，但我们引入的异常分数则具有相关性。这些结果首次从实证角度支持了MBR解码的核心假设与性能之间的联系。

本文旨在研究最小贝叶斯风险解码（MBR decoding）中采样方法对性能的影响，以及采样样本与真实分布的近似程度与性能之间的关系。

本文提出使用异常检测来衡量样本的近似程度，并证明异常分数与性能之间存在关联。

本文首次从实证角度支持了MBR解码的核心假设与性能之间的联系。实验使用了不同的采样方法和多个数据集，并且开源了代码。

最近相关研究包括：Improving Minimum Bayes Risk Decoding with Dropout and Vocabulary Selection, Minimum Bayes Risk Training of Neural Machine Translation, An Exploration of Minimum Bayes Risk Training for Neural Machine Translation