CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

现代处理器设计的复杂性和高成本导致了对处理器设计自动化的需求激增。针对通用编程语言（如Python）自动生成代码的指令调整大型语言模型（LLMs）已经展示出了卓越的性能。然而，这些方法在硬件描述语言（HDLs）如Verilog的生成上失败了，因为高质量的指令调整数据很少，即使像GPT-3.5这样的先进LLM在Verilog生成方面的表现也很有限。针对这个问题，本文观察到（1）从现实世界中收集的Verilog代码比LLMs生成的代码质量更高。（2）像GPT-3.5这样的LLMs在总结Verilog代码方面表现出色，而不是生成它。基于这些观察，本文介绍了CodeV，一系列开源指令调整Verilog生成LLMs。我们不是先生成描述，然后从先进的LLMs中获取相应的代码，而是用Verilog代码提示LLM，并通过多级总结让LLM生成相应的自然语言描述。实验结果表明，CodeV在VerilogEval中相对于先前的开源SOTA（BetterV）和RTLLM（RTLCoder）分别提高了14.4％和11.3％，并且相对于先前的商业SOTA GPT-4在VerilogEval中的表现提高了22.1％。

CodeV试图解决Verilog代码自动生成的问题，即由于缺乏高质量的指令调整数据，现有的大语言模型在生成硬件描述语言（HDL）方面表现不佳。

CodeV采用了一种新的方法来生成Verilog代码，即通过提示LLM生成相应的自然语言描述，而不是先生成描述，再从高级LLM获取相应的代码。

CodeV相对于之前的SOTA在VerilogEval上的表现提高了14.4％（BetterV）和11.3％（RTLCoder），并且相对于之前的商业SOTA GPT-4在VerilogEval上的表现提高了22.1％。CodeV是开源的，使用了从现实世界中收集到的高质量Verilog代码，并且在多级总结方面采用了LLM。

在这个领域中，最近的相关研究包括GPT-3.5、BetterV和RTLCoder。