Large Language Models: Compilers for the 4th Generation of Programming Languages?

F S. Marcondes, J J Almeida, P Novais
[University of Minho]

大型语言模型：第四代编程语言的编译器

  • 探讨了将大型语言模型(LLM)视为第四代编程语言的可能性，它们可将自然语言规范编译成现有语言中的代码。
  • 类似于高级语言如何在汇编代码之上提供了抽象，LLM可能在当前高级语言之上提供另一层抽象。
  • 考虑到LLM的翻译能力，可以从编译器理论的角度来看LLM，本文旨在讨论LLM作为自然语言到高级语言编译器的优势和劣势。
  • 概念验证显示，ChatGPT可以从自然语言编程提示中生成有效的Python代码，形式规范不一定能改进代码。
  • 鉴于LLM的会话特性，形式表示法提示LLM可能不是更好的方式，理解如何融入形式化是关键。
  • 产业级软件可能需要结构化的多提示文档，而不仅仅是一个提示，LLM将以交互方式完善每个提示。
  • LLM可以生成单元测试，并展开额外提示以解决规范差距。
  • 与担心LLM取代编程不同，应将其视为与先前语言生成一样的潜在新抽象层，问题可以用其自己的方式解决。
    动机：旨在探讨大型语言模型作为第四代编程语言编译器的可能性。大型语言模型可以将自然语言规范转化为特定编程语言的程序，为高级语言提供了额外的语言抽象。
    方法：基于编译器理论，将大型语言模型视为编译器。通过引入注意力机制和提示工程，将大型语言模型作为自然语言处理器，并将其与编译器的源语言和目标语言相对应。
    优势：通过将大型语言模型视为第四代编程语言，可以提供更高层次的语言抽象，使得程序开发更加简化和高效。

一句话总结：
探讨了大型语言模型作为第四代编程语言编译器的可能性，通过引入注意力机制和提示工程，将大型语言模型视为自然语言处理器，并提供更高层次的语言抽象。

https://drops.dagstuhl.de/opus/volltexte/2023/18524/pdf/OASIcs-SLATE-2023-10.pdf 


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除