Self-Adapting Language Models

大型语言模型（LLMs）功能强大，但具有静态性；它们缺乏针对新任务、新知识或新示例调整权重的机制。我们提出了自我适应型语言模型（SEAL），这是一个使语言模型能够通过生成自己的微调数据和更新指令来进行自我适应的框架。给定一个新的输入，模型会生成一个自我修改的结果，该结果可能以不同方式重构信息、指定优化超参数，或者调用用于数据增强和基于梯度更新的工具。通过监督式微调（SFT），这些自我修改会导致持久的权重更新，从而实现长期适应。为了训练模型生成有效的自我修改，我们使用了一个强化学习循环，其中更新后模型的下游性能作为奖励信号。与依赖独立适应模块或辅助网络的先前方法不同，SEAL 直接利用模型自身的生成能力来控制其适应过程。在知识整合和少量样本泛化方面的实验表明，SEAL 是朝着具备自我指导适应能力的语言模型迈出的有前景的一步。我们的网站和代码可在以下地址获取：https://jyopari.github.io/posts/seal。

论文试图解决大型语言模型（LLMs）缺乏动态适应能力的问题，即它们无法根据新任务、知识或示例自适应地调整权重。这是一个长期存在的问题，但本文提出了新的解决方向。

关键思路是引入Self-Adapting LLMs (SEAL)框架，通过让模型生成自己的微调数据和更新指令来自我适应。具体来说，模型会基于输入生成‘self-edit’，包括信息重构、优化超参数调整或工具调用，然后通过监督微调实现持久的权重更新。相比现有方法依赖独立的适配模块或辅助网络，SEAL直接利用模型自身的生成能力控制其适应过程，具有创新性。

实验展示了SEAL在知识整合和少量样本泛化方面的有效性，证明了其作为语言模型自适应学习的重要一步。研究使用强化学习循环以下游性能为奖励信号优化模型生成的self-edit。代码和网站已开源（https://jyopari.github.io/posts/seal），便于后续研究者复现和改进。未来可以进一步探索更复杂的self-edit策略以及跨领域适应能力。

近期相关研究包括：1) LoRA（Low-Rank Adaptation），通过低秩分解实现高效参数微调；2) P-Tuning/V-Prompt，利用连续提示学习增强模型适应性；3) Qwen-External-Knowledge，探讨外部知识注入对大模型的影响。此外，还有研究如ReAct将思考与行动结合提升决策能力，以及DPO（Direct Preference Optimization）通过偏好优化改进生成质量。