Orca 2: Teaching Small Language Models How to Reason

Orca 1通过丰富的信号（如解释跟踪）进行学习，使其在BigBench Hard和AGIEval等基准测试中优于传统的指令调整模型。在Orca 2中，我们继续探索如何通过改进的训练信号增强较小的语言模型的推理能力。训练小型语言模型的研究通常依赖于模仿学习，以复制更强大模型的输出。我们认为，过分强调模仿可能会限制较小模型的潜力。我们希望教小型语言模型使用不同的解决策略来处理不同的任务，这些策略可能不同于较大模型所使用的策略。例如，虽然较大的模型可能会直接回答复杂的任务，但较小的模型可能没有相同的能力。在Orca 2中，我们教授模型各种推理技巧（逐步，回忆然后生成，回忆推理生成，直接回答等）。更重要的是，我们旨在帮助模型学习确定每个任务的最有效解决策略。我们使用包含约100个任务和超过36,000个唯一提示的15个多样化基准测试对Orca 2进行评估。在测试高级推理能力的复杂任务的零-shot设置下，Orca 2明显超过了大小相似的模型，并获得了与5-10倍大模型相似或更好的性能水平。我们在aka.ms/orca-lm上公开Orca 2的权重，以支持对较小语言模型的开发、评估和对齐的研究。

论文试图通过改进训练信号来提高小型语言模型的推理能力，使其在复杂的任务中表现优异，这是否是一个新问题？

论文中提出了通过教授小型语言模型不同的解决问题的策略来提高其推理能力，相比于当前的研究，这是一种新的思路。

论文使用了15个不同的基准测试数据集，共计大约100个任务和超过36,000个独特提示，证明了Orca 2在零样本设置下表现出色。此外，作者公开了Orca 2的权重，以支持对小型语言模型的开发、评估和对齐的研究。

最近在这个领域中，一些相关的研究包括：《Big Bird: Transformers for Longer Sequences》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》、《Reformer: The Efficient Transformer》等。