ChatGPT's One-year Anniversary: Are Open-Source Large Language Models Catching up?

在2022年末发布后，ChatGPT在AI领域的研究和商业方面带来了巨大的变革。通过使用监督微调和强化学习从人类反馈中调整大型语言模型（LLM），它表明模型可以回答人类的问题并在广泛的任务面板上遵循指令。随着这一成功，LLM的兴趣不断增强，包括许多专注于LLM的初创企业在内，学术界和行业中不断涌现出新的LLM。尽管封闭源代码的LLM（例如OpenAI的GPT、Anthropic的Claude）通常表现优于其开源对应物，但后者的进展非常迅速，声称在某些任务上达到或甚至更好的水平，这不仅对研究而且对商业都具有重要意义。在ChatGPT一周年之际，本文提供了一个详尽的概述，调查了所有开源LLM声称与ChatGPT相当或更好的任务。

开源的大型语言模型是否可以与ChatGPT等闭源模型在各种任务上达到相同或更好的性能？

通过调整开源模型的架构和训练方法，使其能够在各种任务上达到与闭源模型相当甚至更好的性能。

论文提供了对当前开源大型语言模型在各种任务上表现的全面调查，包括使用的数据集、实验设计和开源代码等方面。开源模型在某些任务上已经达到了与ChatGPT相当的性能。

最近的相关研究包括：1. EleutherAI的GPT-Neo；2. Hugging Face的Transformer；3. Google的T5。