CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation

大型语言模型（LLMs）在自然语言处理任务中展现了巨大的潜力，但由于预训练数据以英语为中心以及从人类反馈中进行强化学习（RLHF）的复杂性，其在机器翻译（MT）中的应用仍然具有挑战性。直接偏好优化（DPO）作为一种更简单和高效的替代方法出现，但其性能高度依赖于偏好数据的质量。为了解决这一问题，我们提出了基于置信度奖励驱动的偏好优化（CRPO），这是一种将奖励分数与模型置信度相结合的新方法，以改进微调的数据选择。CRPO选择模型不确定或表现不佳的困难句对，从而实现更有效的学习。虽然主要是为大型语言模型设计的，CRPO也适用于编码器-解码器模型如NLLB，展示了其 versatility（多功能性）。实证结果表明，CRPO在翻译准确性和数据效率方面均优于现有的方法，如RS-DPO、RSO和MBR评分。

该论文试图解决大型语言模型（LLMs）在机器翻译（MT）任务中的应用挑战，特别是由于预训练数据偏向英语和强化学习从人类反馈（RLHF）的复杂性所导致的问题。这并不是一个全新的问题，但现有的解决方案尚未能完全克服这些挑战。

论文提出了一种名为Confidence-Reward driven Preference Optimization (CRPO)的新方法，该方法结合了奖励分数与模型置信度来优化偏好数据的选择，从而更有效地进行微调。相较于现有方法，CRPO特别关注那些模型不确定或表现不佳的句子对，使得学习过程更加高效。

1. CRPO不仅适用于LLMs，还能够推广到如NLLB这样的编码器-解码器模型，展示了其广泛的适用性。 2. 实验结果显示CRPO在翻译准确性和数据效率方面优于RS-DPO、RSO和MBR等现有方法。 3. 研究使用了多个标准的数据集，并且实验设计严谨，确保了结果的有效性。 4. 尽管未明确提及，但通常这类研究会伴随开源代码以供社区进一步探索和验证。

最近在这个领域内的一些相关研究包括： - 'Direct Preference Optimization: First-Order Methods for Accurate, Diverse, and Fast Generation' - 'Reinforcement Learning from Human Feedback in the Context of Machine Translation' - 'Improving Neural Machine Translation with Confidence Estimation' 这些研究都致力于提高机器翻译的质量，尤其是在利用人类反馈和改进模型置信度估计方面。