CodeV-R1：让推理增强型Verilog生成变得简单高效，中科院计算所团队带来硬件描述语言自动生成的突破性进展

研究团队与论文信息

这项由中国科学院计算技术研究所骏马并行计算技术重点实验室领导的研究，联合了中国科学技术大学、中国科学院大学以及寒武纪科技公司的研究人员共同完成。主要作者包括朱耀宇、黄迪、吕翰琦、张小雨、李重晓等多位研究者。该研究发表于2025年5月30日的arXiv预印本平台（arXiv:2505.24183v1），项目主页为https://iprc-dip.github.io/CodeV-R1。

一、研究背景：为何硬件描述语言生成如此困难？

想象一下，如果你想制作一道美味的蛋糕，你需要一份详细的食谱。类似地，设计电子芯片需要一种特殊的"食谱语言"——硬件描述语言（HDL），其中最常用的就是Verilog。传统上，工程师们需要手写这些"食谱"，这不仅耗时费力，还容易出错。

近年来，大型语言模型（LLM）在许多领域展现了令人惊叹的能力，尤其是那些通过可验证奖励的强化学习（RLVR）训练的模型，比如OpenAI的o1和DeepSeek的R1，它们在软件编程和数学问题求解上取得了突破性进展。这些模型就像是烹饪天才，给它们一个粗略的菜品描述，它们就能写出详细的制作步骤。

研究团队看到了这一潜力，并思考：能否让这些"AI烹饪大师"也学会编写硬件的"食谱"——自动从自然语言描述生成Verilog代码？然而，他们很快发现了三大挑战：

首先，验证环境的缺失。想象你在尝试一份新食谱，但没有人能告诉你做出来的菜好不好吃——这就是硬件设计验证的困境。即使在数据丰富的软件编程领域，有效的验证环境也很稀少。例如，编程竞赛数据集APPS中的大多数问题只有一两组测试用例，错误率高达60%。对于硬件设计来说，情况更糟，因为大型语言模型缺乏处理硬件特有的复杂状态空间和时序电路边界情况的专业知识。

第二，高质量数据的稀缺。就像学习烹饪需要大量优质的菜谱一样，训练AI需要大量高质量的"自然语言-代码"对。然而，由于硬件设计的专有性质，带注释的Verilog示例极其有限。虽然已有一些使用LLM合成数据的方法，但它们生成的数据集质量往往不够理想。

第三，计算成本高昂。训练一个能够推理的Verilog生成模型成本极高。举个例子，用16台NVIDIA H100 GPU对一个32B的LLM在1千个数据上进行5轮监督微调只需0.5小时。而使用强化学习训练一个14B的LLM解决24千个可验证的编程问题需要在32台NVIDIA H100 GPU上运行超过2.5周！对于Verilog这样的专业领域，这种计算成本几乎是难以承受的。

面对这三大挑战，中科院计算所的研究团队提出了CodeV-R1，一个专为Verilog生成设计的综合框架。就像一位善于教学的烹饪大师，不仅自己会做菜，还能教会AI学徒如何从食材描述创造出完美的菜肴。

二、CodeV-R1：如何克服三大挑战？

研究团队提出的CodeV-R1框架主要包含三个创新组件，分别对应前面提到的三大挑战：

### 自动化测试台生成：打造可靠的"品鉴师"

首先，团队开发了一个基于规则的测试台生成框架，就像为菜肴配备了一位专业的品鉴师，能够准确判断生成的"菜品"（Verilog代码）是否与标准配方（黄金参考）功能等价。

这个框架分三个阶段工作：首先进行电路结构分析，从参考黄金代码中提取输入/输出端口以及复位/时钟信号等信息；然后进行模拟，为生成的代码和参考代码提供随机输入并评估输出的等价性；最后验证两者功能是否一致。对于顺序电路，测试台会进行双阶段验证，确保复位信号操作的一致性。

团队的实验表明，他们的测试台比LLM生成的对应产品少了35.5%的假阴性（误判正确代码为错误），在模糊测试中检测到的错误比后者多62.5%。通过32路并行化，该模拟系统每秒可处理15个实例，大大提高了验证效率。

### 往返数据合成：培养高质量的"食谱集"

针对数据质量不足的问题，研究团队设计了一种称为"往返数据合成"的巧妙方法。这就像是一位厨师先写下菜谱，然后让学徒根据这个菜谱做菜，最后比较学徒做出的菜和原始菜品是否相同，只保留那些能够精确复现的菜谱。

具体来说，他们首先从GitHub收集Verilog代码片段，然后使用LLM（DeepSeek-V3）生成对应的自然语言描述。接着，他们使用另一个强大的模型（DeepSeek-R1）从这些描述中生成新的Verilog代码。最后，使用自动测试台验证新生成的代码与原始代码是否功能等价，只保留那些通过验证的代码-描述对作为高质量数据。

研究团队还在理论上证明，给定强大的语言模型和理想的验证环境，这个过程能以高概率产生足够高质量的自然语言-代码对。

### 两阶段训练与自适应DAPO：降低训练成本

为了解决计算成本高昂的问题，研究团队采用了一种称为"蒸馏然后强化学习"的两阶段训练管道。想象一个烹饪学徒，先通过观察大师的示范学习基本技能（蒸馏阶段），然后通过不断尝试改进自己的菜品（强化学习阶段）。

在蒸馏阶段，他们使用DeepSeek-R1作为往返数据合成中的NL到代码的LLM，生成包含思考过程和代码的三元组，无需等价性检查。然后对基础模型进行监督微调，得到具有基本推理能力的蒸馏模型。

在强化学习阶段，他们在蒸馏模型上使用通过等价性检查的高质量数据进一步增强其Verilog生成能力。此外，他们还认识到强化学习的瓶颈在于采样和验证，因此扩展了动态采样策略优化（DAPO）算法，引入一种自适应机制，根据过去的样本丢弃率动态调整每个训练步骤的样本数量。这种方法显著减少了不必要的采样和验证开销，实现了1.25倍的加速。

三、CodeV-R1-7B：强大的研究成果

基于以上技术，研究团队开发了CodeV-R1-7B，这是第一个专门用于Verilog生成的推理增强型语言模型，整个训练过程仅消耗了约2,656个A100-GPU小时。

在性能方面，CodeV-R1-7B在VerilogEval v2和RTLLM v1.1/v2基准测试上的表现令人印象深刻。在VerilogEval v2上，它实现了68.8%的pass@1（第一次尝试就通过的成功率），在RTLLM v1.1和v2上分别达到了72.9%和68.0%的pass@1。

更值得注意的是，这个只有7B参数的模型在RTLLM v1.1上甚至超过了671B参数的DeepSeek-R1模型8.1%，在RTLLM v2上超过了3.3%，展示了其强大的RTL生成能力。它同时也大幅超越了之前的Verilog领域最先进模型12~20%。

研究团队进行了详细的实验分析，展示了模型在不同情况下的表现。例如，在测试时长度缩放实验中，随着响应长度预算从4096增加到16384，CodeV-R1-7B的准确率从7.1%飙升到72.9%，优于DeepSeek-R1（从29.0%提高到64.1%）。同时，在计算效率方面，CodeV-R1-7B也表现更佳，每单位计算量能提供更高的准确率。

研究团队还分析了等价性检查和难度过滤如何改善强化学习训练。结果表明，使用原始RL数据集会导致响应长度显著增加，而没有难度过滤的训练数据则会导致响应长度下降。这表明，即使初始响应相对较长，在强化学习期间加入更具挑战性的样本也能促进响应长度的稳定增长。

四、实际案例分析：解决K-map问题

为了具体展示CodeV-R1-7B的优势，研究团队提供了一个从VerilogEval-v2中选取的实际例子，展示了CodeV-R1-7B与DeepSeek-R1在处理特定Verilog问题时的表现差异。

问题要求实现一个名为TopModule的模块，该模块有一个4位输入x和一个输出f，需要根据卡诺图（Karnaugh map）实现函数f。卡诺图中的'd'表示无关项，可以输出任何方便的值。

DeepSeek-R1和CodeV-R1-7B都理解了问题并进行了推理和反思，但只有CodeV-R1-7B准确实现了卡诺图定义的逻辑函数，而R1的答案执行了错误的逻辑函数。关键区别在于，CodeV-R1-7B使用了声明input [4:1] x，这直接对应于问题描述中卡诺图的表示法。相比之下，R1使用了input [3:0] x，导致后续推理中的混淆。

虽然CodeV-R1-7B最初对这种非常规声明感到挑战，但它通过反思最终选择了正确的声明，避免了潜在的索引映射歧义。这使得代码更加清晰，不容易出错。

五、未来展望与局限性

研究团队也坦承了这项工作的一些局限性，这也是未来研究的方向：

首先，自动测试台生成框架只能在概率意义上改善代码和自然语言之间的语义一致性。通过研究方法生成的合成数据集可能仍然包含少量低质量数据，这可能会影响模型的性能。

其次，收集带有推理过程的数据用于监督微调需要一个通用推理模型（如DeepSeek-R1），这使得性能在某种程度上依赖于教师模型的推理能力。在教师模型表现不佳的专门领域，这种依赖可能会直接影响收集数据的质量。此外，这个过程可能在财务上成本较高。

从应用角度看，未来研究还可以探索推理LLM在解决RTL代码生成之外的更复杂硬件开发任务的潜力，例如PPA（功耗、性能、面积）性能优化和模拟电路合成。

六、总结：CodeV-R1的意义与影响

归根结底，CodeV-R1框架为使用可验证奖励的强化学习训练Verilog生成LLM提供了一套完整的解决方案，成功克服了自动验证困难、高质量数据稀缺和计算成本高昂三大挑战。

研究团队基于这一框架训练的CodeV-R1-7B模型，以仅7B的参数量在Verilog生成任务上取得了惊人的成果，甚至在某些基准测试中超越了拥有671B参数的大模型DeepSeek-R1。这表明，针对特定领域的优化训练策略和精心设计的数据处理流程，可以大幅提升模型在专业领域的表现。

这项研究对电子设计自动化（EDA）领域具有重要意义，为自动化硬件描述语言生成开辟了新途径。通过减轻工程师编写复杂Verilog代码的负担，这类工具可以显著加速芯片设计流程，缩短产品上市时间，并降低设计错误率。

研究团队计划发布他们的模型、训练流程和数据集，以促进EDA和LLM社区的进一步研究。这种开放的态度将有助于加速相关技术的发展和应用，最终可能改变整个芯片设计行业的工作方式。

对于非专业人士来说，这项研究的意义在于展示了人工智能如何能够掌握复杂的专业领域知识，并在高度技术化的任务中辅助或部分替代人类专家。随着这类技术的发展，我们可以期待更多行业专业工作流程的革新和效率提升。