OctoPack: Instruction Tuning Code Large Language Models

解决问题：本篇论文旨在通过指令调整来优化大型语言模型在自然语言任务上的表现。论文中使用代码进行指令调整，利用Git提交的自然结构将代码更改与人类指令配对。该方法的新意在于使用Git提交的代码历史记录进行指令调整。

关键思路：论文的关键思路是使用Git提交的代码历史记录进行指令调整，从而优化大型语言模型在自然语言任务上的表现。相较于当前领域的研究，这种方法的新意在于利用Git提交的代码历史记录进行指令调整。

其他亮点：论文使用了一个名为CommitPack的数据集，其中包含了4TB的Git提交记录，涵盖了350种编程语言。在16B参数的StarCoder模型上，论文将CommitPack与其他自然和合成代码指令（xP3x、Self-Instruct、OASST）进行了比较，并在未使用OpenAI输出进行训练的模型中，在Python基准测试中获得了最先进的表现（46.2％pass@1）。此外，论文还引入了HumanEvalPack，将HumanEval基准扩展到3个编码任务（代码修复、代码解释、代码合成）和6种语言（Python、JavaScript、Java、Go、C ++、Rust）。论文提出的OctoCoder和OctoGeeX模型在HumanEvalPack中表现最佳，证明了CommitPack在泛化到更广泛的语言和自然编码任务方面的优势。论文中的代码、模型和数据可在https://github.com/bigcode-project/octopack上免费获取。

关于作者：本篇论文的主要作者包括Niklas Muennighoff、Qian Liu、Armel Zebaze、Qinkai Zheng、Binyuan Hui、Terry Yue Zhuo、Swayam Singh、Xiangru Tang、Leandro von Werra和Shayne Longpre。他们来自不同的机构，包括加拿大滑铁卢大学、加拿大多伦多大学、加拿大不列颠哥伦比亚大学和瑞士洛桑联邦理工学院。根据我的数据库，这些作者之前的代表作包括“Code2Vec: Learning Distributed Representations of Code”和“DeepBugs: A Learning Approach to Name-based Bug Detection”。

相关研究：近期其他相关的研究包括“CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing”（Zhangyin Feng等，华中科技大学）、“GPT-2 as a Source of Controlled Generation of Text”（Vladimir Prokhorov等，Yandex）、“GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding”（Noam Shazeer等，Google）等。

论文摘要：OctoPack: Instruction Tuning Code Large Language Models Niklas Muennighoff, Qian Liu, Armel Zebaze, Qinkai Zheng, Binyuan Hui, Terry Yue Zhuo, Swayam Singh, Xiangru Tang, Leandro von Werra, Shayne Longpre

本文介绍了一种利用代码进行指令调整的方法，以提高大型语言模型（LLMs）在自然语言任务中的性能。作者们利用 Git 提交的自然结构，将代码更改与人类指令配对，使用代码进行指令调整。他们编译了 CommitPack，其中包含 350 种编程语言的 4TB Git 提交。作者们在 16B 参数的 StarCoder 模型上使用 CommitPack 进行了基准测试，并与其他自然语言和合成代码指令（xP3x、Self-Instruct、OASST）进行了比较。结果表明，他们在 HumanEval Python 基准测试中取得了最先进的性能（46.2% pass@1），并且在没有训练 OpenAI 输出的模型中表现最好。作者们进一步介绍了 HumanEvalPack，将 HumanEval 基准测试扩展到了 3 个编码任务（代码修复、代码解释、代码合成）和 6 种语言（Python、JavaScript、Java、Go、C++、Rust）。他们的模型 OctoCoder 和 OctoGeeX 在 HumanEvalPack 中表现最佳，证明了 CommitPack 在推广到更广泛的语言和自然编码任务方面的好处。代码、模型和数据可以在 https://github.com/bigcode-project/octopack 上免费获取。

内容中包含的图片若涉及版权问题，请及时与我们联系删除