Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

现代参数高效微调（PEFT）方法，例如低秩适应（LoRA），降低了定制大语言模型（LLM）的成本，但仍需要为每个下游数据集单独进行优化运行。我们提出了**拖放式大语言模型（DnD）**，这是一种基于提示条件的参数生成器，通过将少量无标签的任务提示直接映射到LoRA权重更新，消除了每任务训练的需求。一个轻量级的文本编码器将每个提示批次提炼为条件嵌入，然后通过级联超卷积解码器将其转换为完整的LoRA矩阵集合。在多样化的提示-检查点对中训练后，DnD能够在几秒内生成特定任务的参数，从而实现：i) 比完全微调低至**12,000倍**的开销；ii) 在未见过的常识推理、数学、编程和多模态基准测试中，相较于最强的训练LoRA方法性能平均提升高达**30%**；iii) 即使从未接触过目标数据或标签，仍展现出强大的跨域泛化能力。我们的研究结果表明，基于提示条件的参数生成是梯度优化方法之外快速专业化LLM的一种可行替代方案。我们的项目可在以下链接访问：[https://jerryliang24.github.io/DnD](https://jerryliang24.github.io/DnD)。

该论文试图解决如何降低大型语言模型（LLM）在不同下游任务中定制化的成本问题，尤其是避免为每个任务单独进行优化训练。这是一个重要且具有挑战性的问题，但通过引入新的方法来减少任务特定的训练需求，它提供了一种潜在的解决方案。

论文提出了一种名为Drag-and-Drop LLMs (DnD) 的新方法，利用提示条件参数生成器直接从少量未标注的任务提示映射到LoRA权重更新。这种方法的核心是通过轻量级文本编码器将提示批次转换为条件嵌入，并通过超卷积解码器生成完整的LoRA矩阵。与传统的逐任务训练相比，DnD显著减少了计算开销并提高了性能。

实验表明，DnD方法可以实现比完整微调高达12,000倍更低的开销，同时在多个领域（如常识推理、数学、编程和多模态任务）上平均提升了30%的性能。此外，该方法展示了强大的跨域泛化能力，即使从未见过目标数据或标签。论文提供了开源项目页面，方便研究者复现和扩展研究。未来值得探索的方向包括进一步优化DnD架构以及将其应用于更多复杂场景。

近期相关研究包括：1) Parameter-Efficient Fine-Tuning (PEFT) 方法如LoRA和P-Tuning；2) 提示学习（Prompt Learning）领域的进展，例如Prefix-Tuning 和 Soft-Prompting；3) 超网络（Hypernetworks）用于动态生成模型参数的研究。一些具体的相关工作包括《LoRA: Low-Rank Adaptation of Large Language Models》和《P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-Tuning》。