Efficacy of Language Model Self-Play in Non-Zero-Sum Games

像AlphaGo这样的游戏智能体通过自我对弈实现了超人类的表现，在竞技游戏中理论上保证能够得到最优策略。然而，大多数语言任务是部分或完全合作的，因此自我对弈等技术是否能够有效地用于改进语言模型是一个悬而未决的问题。我们在一个称为“Deal or No Deal”（DoND）的谈判游戏环境中进行了实证研究。关键是，DoND中的目标可以被修改以产生完全合作的游戏、严格竞争的游戏或介于两者之间的游戏。我们针对每个目标在DoND中进行多轮过滤行为克隆的自我对弈中微调语言模型。与预期相反，我们发现语言模型的自我对弈在与人类的合作和竞争中都导致了显著的性能提升，这表明自我对弈和相关技术具有潜力，尽管缺乏理论保证。

论文试图探究自我博弈技术是否能够有效改进语言模型在合作或竞争任务中的表现。

通过在合作或竞争任务中使用自我博弈技术对语言模型进行微调，论文发现自我博弈技术显著提高了模型在人类合作和竞争中的表现。

论文使用了合作/竞争任务Deal or No Deal（DoND）进行实验，发现自我博弈技术在语言模型的微调中具有潜在应用价值。研究还开源了数据集和代码。

相关研究包括使用自我博弈技术进行强化学习的AlphaGo等。