Language Generation with Strictly Proper Scoring Rules

基于最大似然估计（MLE）的语言生成已成为文本生成的基本方法。最大似然估计通常通过最小化对数似然损失来执行，也称为统计决策理论中的对数分数。对数分数在本质上是严格正确的，因为它鼓励诚实的预测，仅当模型报告真实概率时，期望分数才被最大化。虽然许多严格正确的评分规则存在，但对数分数是其中唯一的局部评分规则，它仅取决于观察样本的概率，使其能够处理自然文本的指数级样本空间。在这项工作中，我们提出了一种简单的策略，用于将评分规则适应于语言生成，允许使用任何非局部评分规则进行语言建模。利用这种策略，我们使用两种经典的严格正确的评分规则，即Brier分数和球形分数，作为对数分数的替代方案来训练语言生成模型。实验结果表明，仅仅替换损失函数而不调整其他超参数就可以显著提高模型的生成能力。此外，这些改进可以扩展到大型语言模型（LLMs），如LLaMA-7B和LLaMA-13B。源代码：\url{https://github.com/shaochenze/ScoringRulesLM}。

本论文试图通过使用非局部评分规则来训练语言生成模型，以提高模型的生成能力。这是否是一个新问题？

本论文的关键思路是使用非局部评分规则来训练语言生成模型，以替代传统的最大似然估计方法。相比传统方法，使用非局部评分规则能够显著提高模型的生成能力。

本论文使用了两种经典的非局部评分规则（Brier评分和Spherical评分）来训练语言生成模型，并且在多个数据集上进行了实验验证。实验结果表明，使用非局部评分规则能够显著提高模型的生成能力，尤其是在大型语言模型上。此外，本论文提供了开源代码。

最近的相关研究包括使用变分自编码器（VAE）进行语言生成，以及使用更加复杂的评分规则来训练语言生成模型。相关论文包括《Generating Sentences from a Continuous Space》和《A Study of Non-local Scoring Rules for Generative Language Models》。