GPT vs RETRO: Exploring the Intersection of Retrieval and Parameter-Efficient Fine-Tuning

Parameter-Efficient Fine-Tuning（PEFT）和Retrieval-Augmented Generation（RAG）已经成为调整大型语言模型并最小化计算要求的流行方法。在本文中，我们将PEFT方法（P-tuning、Adapters和LoRA）应用于经过修改的Retrieval-Enhanced Transformer（RETRO）和基线GPT模型，涵盖了从8.23亿到480亿参数的多个规模。我们表明，由于其独特的预训练过程，RETRO模型在零-shot设置中优于GPT模型，但是GPT模型在PEFT方面具有更高的性能潜力。此外，我们的研究表明，8B参数模型在成本和性能之间达到了最佳平衡，而P-tuning落后于其他PEFT技术。我们进一步提供了将PEFT应用于Instruction-tuned RETRO模型和基础RETRO模型之间的比较分析。这项工作是对各种PEFT方法与RAG集成应用于GPT和RETRO模型的首次全面比较，并突出了它们的相对性能。

本文旨在比较不同的参数有效微调方法在Retrieval-Augmented Generation（RAG）中的应用效果，以及比较PEFT方法在GPT和RETRO模型中的性能表现。

本文使用PEFT方法（P-tuning，Adapters和LoRA）应用于改进的RETRO模型和基线GPT模型，比较它们的性能。研究结果表明，RETRO模型在零-shot设置中表现优异，但GPT模型在PEFT方面具有更高的性能潜力。本文还提供了应用PEFT到Instruction-tuned RETRO模型和基础RETRO模型的比较分析。

本文是第一篇综合比较不同PEFT方法在GPT和RETRO模型中应用效果的研究。实验使用了多个数据集和模型大小，提供了详细的性能比较分析。研究结果表明，8B参数模型在成本和性能之间取得了最佳平衡。

与本文相关的研究包括PEFT方法的其他应用，如TinyBERT和AdapterHub，以及与RAG和GPT模型相关的其他研究，如GShard和T5。