Meta Large Language Model Compiler: Foundation Models of Compiler Optimization

大型语言模型（LLMs）在各种软件工程和编码任务中展示出了非凡的能力。然而，在代码和编译器优化领域中，它们的应用仍未得到充分探索。训练LLMs需要大量的GPU小时和广泛的数据收集，这可能会成为限制因素。为了填补这一空白，我们介绍了Meta Large Language Model Compiler (LLM Compiler)，这是一套强大、开放、预训练的模型，专门用于代码优化任务。建立在Code Llama的基础上，LLM Compiler增强了对编译器中间表示（IRs）、汇编语言和优化技术的理解。该模型已经在包括5460亿个LLVM-IR和汇编代码的广泛语料库上进行了训练，并经过指令微调以解释编译器行为。LLM Compiler采用独特的商业许可证发布，以允许广泛重用，并提供两种规模：70亿和130亿参数。我们还提供了模型的微调版本，展示了其在优化代码大小和从x86_64和ARM汇编反汇编回LLVM-IR方面的增强能力。这些版本实现了自动调优搜索77%的优化潜力和45%的反汇编往返（14%的精确匹配）。此版本旨在为学术研究人员和工业从业者在编译器优化方面提供可扩展、经济实惠的基础。

介绍了Meta Large Language Model Compiler (LLM Compiler)，旨在解决代码和编译器优化领域的问题。

LLM Compiler是一套预训练的模型，专门用于代码优化任务，通过对LLVM-IR和汇编代码的大量训练和fine-tuning，提高了对编译器中间表示（IRs）、汇编语言和优化技术的理解。

LLM Compiler是开源的，可在商业许可证下广泛使用，提供了两种不同大小的模型，实现了代码大小优化和从x86_64和ARM汇编反汇编回LLVM-IR的功能。实验表明，与自动调优搜索相比，LLM Compiler可以实现77%的优化潜力，45%的反汇编往返（14%的精确匹配）。该研究为学术研究人员和工业从业者在编译器优化方面提供了可扩展和经济有效的基础。

在这个领域中，最近的相关研究包括：'Learning to Optimize Tensor Programs'，'Neural Code Comprehension: A Systematic Literature Review'，'A Survey of Machine Learning Techniques for Programming Language Processing'等。