每天 0 点更新数据,热度根据全网互动数计算
最热 · 今天
最新
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
Zixiang Chen,
Yihe Deng,
Huizhuo Yuan,
...
2024年01月02日
通过监督微调(SFT)利用人工注释数据的能力对于推进大型语言模型(LLMs)至关重要。在本文中,我们探讨了在不需要获取额外的人工注释数据的情况下,如何将弱语言模型发展成强语言模型的前景。我们提出了一种名为自我对弈微调(SPIN)的新微调方法,它从一个经过监督微调的模型开始。SPIN的核心在于自我对弈机制,即LLM通过与自身的实例对战来提升自己的能力。更具体地说,LLM从其先前的迭代中生成自己的训练数据,通过区分这些自动生成的响应和从人工注释数据中获取的响应来完善其策略。我们的方法逐步将LLM从一个新生模型提升到一个强大的模型,释放了人工注释演示数据在SFT中的全部潜力。从理论上讲,我们证明了当LLM策略与目标数据分布一致时,我们方法的训练目标函数的全局最优解才能得到实现。在实证方面,我们在几个基准数据集上评估了我们的方法,包括HuggingFace Open LLM Leaderboard、MT-Bench和来自Big-Bench的数据集。我们的结果表明,SPIN可以显著提高LLM在各种基准测试中的性能,甚至超过通过额外的GPT-4偏好数据补充的直接偏好优化(DPO)训练的模型。这为自我对弈的前景带来了光明,使得在不需要专家对手的情况下,可以实现LLMs的人类水平性能。
2723
热度
ML
AI
NLP
PDF
解读
Deep Networks Always Grok and Here is Why
Ahmed Imtiaz Humayun,
Randall Balestriero,
Richard Baraniuk
2024年02月23日
本文讨论了深度神经网络(DNN)中的一种现象,即延迟泛化,也称为“Grokking”。在达到接近零的训练误差之后,DNN中的泛化会在很长一段时间后才发生。以前的研究已经报道了在特定控制环境下出现Grokking的情况,例如使用大范数参数初始化的DNN或在算法数据集上训练的transformers。本文证明了Grokking实际上更为普遍,并出现在许多实际环境中,例如在CIFAR10上训练卷积神经网络(CNN)或在Imagenette上训练Resnet。本文提出了延迟鲁棒性的新概念,即DNN在插值和/或泛化之后才能理解对抗性示例并变得鲁棒。我们根据DNN输入输出映射的局部复杂度提出了延迟泛化和延迟鲁棒性的出现解释。我们的局部复杂度测量了所谓的“线性区域”(又称样条分区区域)在DNN输入空间中的密度,并作为训练的有用进展测量。我们提供了首个证据表明,在分类问题中,线性区域在训练过程中会发生相变,之后它们会远离训练样本(使DNN在那里的映射更平滑),并朝着决策边界移动(使DNN在那里的映射不那么平滑)。Grokking在相变后发生,因为DNN映射在训练点周围的线性化导致了输入空间的鲁棒分区的出现。网址:https://bit.ly/grok-adversarial
2398
热度
ML
AI
CV
PDF
解读