这是OpenAI最近发表的一篇论文，探讨了大型语言模型（LLM）和进化计算之间的联系，特别侧重于代码生成。

GIT地址：https://github.com/CarperAI/OpenELM

接受过代码数据集培训的LLM，如OpenAI的Codex，在自动代码生成方面取得了良好的效果。然而，当我们对训练分发中罕见的一类程序感兴趣的情况下，进化算法提供了一种通过对已知或“种子”程序进行突变来生成代码的方法。ELM方法表明，训练在代码上的LLM可以为遗传编程（GP）算法提出智能突变。遗传算法通过随机扰动探索搜索空间，但通常需要高度定制域知识，以便它们做出理想的更改——LLM提供了一种编码该领域知识的方法，并指导遗传算法对搜索空间进行智能探索。

该项目旨在将ELM论文复制到原始的Sodarace环境中，然后将该技术应用于更复杂的代码生成问题。

完整研究提案，网址为https://carperai.notion.site/ELM-e8f37b2649944259b1abf9ccaa4edae2

博客文章：https://carper.ai/openelm-release

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除