指令微调语言模型零样本鲁棒性评估

Evaluating the Zero-shot Robustness of Instruction-tuned Language Models

J Sun, C Shaib, B C. Wallace
[Northeastern University]

指令微调语言模型零样本鲁棒性评估

• 动机：研究旨在改进大型语言模型(LLM)在新任务上的零样本能力，指出指令微调是一种有前景的方法，并探讨了其对指令措辞的敏感性以及如何提高模型对自然语言变异的鲁棒性。
• 方法：收集了由自然语言处理(NLP)专家手动编写的319条指令，评估了这些指令与指令微调过程中的措辞的差异对模型性能的影响。提出了一种简单的方法来缓解这个问题，通过引入“软提示”嵌入参数并优化这些参数，使得语义等效的指令表示之间的相似度最大化。
• 优势：研究在大型基准测试中对指令微调的LLM进行了全面深入的鲁棒性分析，发现使用新指令会导致模型性能下降。提出的方法通过鼓励LLM在使用语义等效的指令时诱导相似的表示来提高模型的鲁棒性。

探讨了指令微调的LLM对指令措辞的敏感性，并提出了一种简单的方法来改善模型的鲁棒性，通过优化嵌入参数来增加语义等效指令之间的相似度。

https://arxiv.org/abs/2306.11270