Self-Evolution Fine-Tuning for Policy Optimization

本文介绍了自我演化微调（SEFT）的策略优化方法，旨在消除对注释样本的需求，同时保持SFT的稳定性和效率。SEFT首先训练一个自适应修订者，提高低质量回答的同时保持高质量回答。然后，修订者逐渐指导策略的优化，通过增强的回答对其进行微调。该方法的一个显著特点是，它能够通过监督微调利用无限量的未注释数据进行策略优化。我们在AlpacaEval 2.0和MT-Bench上的实验表明了SEFT的有效性。我们还对其优于现有对齐技术的优点进行了全面分析。这些大语言模型的对齐不仅对于在特定任务中发挥其潜力至关重要，而且对于确保响应符合人类期望并遵守安全和道德原则也非常重要。当前的对齐方法面临着相当大的挑战。例如，有监督的微调（SFT）需要大量高质量的注释样本，而从人类反馈中进行强化学习（RLHF）则复杂且经常不稳定。

解决大语言模型对齐的挑战，提高回复的质量，确保满足人类期望和安全伦理原则。

提出了自我进化微调（SEFT）的策略优化方法，通过训练自适应修订器来提高低质量的回复，然后逐步指导策略的优化。

SEFT不需要标注样本，能够利用无限量的未标注数据进行策略优化；实验结果表明SEFT在AlpacaEval 2.0和MT-Bench数据集上有效；论文提供了对现有对齐技术的全面分析。

相关研究包括监督微调和强化学习等方法。