Aligner: Achieving Efficient Alignment through Weak-to-Strong Correction

Aligner是一种新的高效对齐范式，它绕过了基于人类反馈的强化学习方法（RLHF）的全部过程，通过学习对齐和未对齐答案之间的校正残差来实现对齐大语言模型（LLMs）。Aligner具有几个关键优点。首先，它是一个自回归的seq2seq模型，通过监督学习在查询-答案-校正数据集上进行训练；这提供了一种参数高效的对齐解决方案，需要的资源最少。其次，Aligner促进了从弱到强的泛化；通过Aligner的监督信号对大型预训练模型进行微调可以显著提高性能。第三，Aligner作为一个模型不可知的即插即用模块，可以直接应用于不同的开源和API模型。值得注意的是，Aligner-7B平均提高了11个不同的LLMs的有用性和无害性分别为21.9%和23.8%（GPT-4提高了17.5%和26.9%）。当使用（弱）Aligner-13B的监督对（强）Llama2-70B进行微调时，我们可以提高Llama2的有用性和无害性分别为8.2%和61.6%。请访问https://aligner2024.github.io查看我们的数据集和代码。

介绍了一种新的大型语言模型对齐方法，旨在解决强化学习从人类反馈中对齐LLMs的挑战。

通过学习对齐和未对齐答案之间的纠正残差，提出了一种基于自回归seq2seq模型的对齐方法，使用监督学习训练。

Aligner是一种参数高效的对齐解决方案，支持弱到强的泛化，可以直接应用于不同的开源和API模型。Aligner-7B平均提高了11种LLMs的21.9%的有用性和23.8%的无害性（GPT-4平均提高了17.5%和26.9%）。当使用Aligner-13B的监督信号对Llama2-70B进行微调时，可以提高Llama2的8.2%的有用性和61.6%的无害性。

最近的相关研究包括基于强化学习的LLM对齐方法，如RLHF。