Improving Language Model Reasoning with Self-motivated Learning

大规模高质量的训练数据对于提高模型性能非常重要。在使用具有推理步骤的数据进行训练之后，模型获得了推理能力。然而，由于高昂的注释成本，具有高质量推理的数据集相对较少。为了解决这个问题，我们提出了“自我激励学习”框架。该框架激励模型自动在现有数据集上生成推理。基于多个推理的正确性内在排名，模型学习生成更好的推理，从而提高推理能力。具体来说，我们训练了一个奖励模型来评估推理质量的排名，并通过强化学习来提高推理性能。在多个推理数据集上的实验结果表明，我们的方法显著提高了模型的推理能力，甚至在某些数据集上胜过了text-davinci-002。

提高模型的推理能力需要大规模高质量的训练数据，但是带有推理步骤的高质量数据相对稀缺，因为注释成本高。因此，本文提出了一种自我激励学习框架，通过自动生成推理步骤来提高模型的推理能力。

本文提出的自我激励学习框架通过训练奖励模型，自动评估推理步骤的质量，并通过强化学习改进推理性能。

本文的实验结果表明，自我激励学习框架显著提高了模型的推理能力，甚至在某些数据集上优于当前最先进的模型。本文的方法可以扩大高质量训练数据的规模，提高模型的推理能力。

相关研究包括使用强化学习来生成自然语言解释，以及使用自我监督学习来提高模型的性能。