TAIA: Large Language Models are Out-of-Distribution Data Learners

在特定领域（如医疗保健或无害内容生成）中，几乎不可能获得与下游分布相匹配的高质量数据，因此微调特定任务的问答对是增强指令调整的大型语言模型（LLMs）在下游任务中性能的主要方法。为了提高LLMs在数据稀缺的领域中对领域不匹配数据的性能，我们重新评估了Transformer架构，并发现在微调过程中，并非所有参数更新都对下游性能有积极的贡献。我们的分析揭示，在自我注意力和前馈网络中，只有微调的注意参数在训练集的分布与测试集不完全对齐时特别有益。基于这一洞见，我们提出了一种有效的推理时间干预方法：\uline{训练所有参数但仅使用注意力进行推理}（\trainallInfAttn）。我们使用两个通用指令调整数据集对\trainallInfAttn进行了实证验证，并在涉及数学、推理和知识理解的七个下游任务中对不同参数大小和微调技术的LLMs进行了评估。我们全面的实验表明，在大多数情况下，\trainallInfAttn相对于完全微调的模型和基础模型都取得了更好的改进，并且性能提升显著。\trainallInfAttn对数据不匹配的高容忍度使其能够抵抗越狱微调，并使用通用数据增强专业任务。

如何在数据匮乏的领域中提高大型语言模型的性能？

只有 fine-tuned attention 参数对下游任务的性能有积极贡献，提出了一个新的推理时间干预方法 rainallInfAttn，只使用 attention 参数进行推理，从而提高了模型的性能和鲁棒性。

论文使用两个通用指令调整数据集进行实验，并在七个下游任务中评估了不同参数大小和微调技术的 LLMs。实验结果表明， rainallInfAttn 在大多数情况下都比完全微调模型和基础模型都表现更好，具有显著的性能提升。

最近的相关研究包括使用元学习来提高模型的鲁棒性，以及使用少量的领域特定数据进行微调来提高模型的性能。