We present HDLFORGE, a two-stage multi-agent framework for automated Verilog generation that optimizes the trade-off between generation speed and accuracy. The system uses a compact coder with a medium-sized LLM by default (Stage A) and escalates to a stronger coder with an ultra-large LLM (Stage B) only when needed, guided by a calibrated score from inexpensive diagnostics including compilation, lint, and smoke tests. A key innovation is a counterexample-guided formal agent that converts bounded-model-checking traces into reusable micro-tests, significantly reducing bug detection time and repair iterations. The portable escalation controller can wrap existing Verilog LLM pipelines without modifying their internals. Evaluated on VerilogEval Human, VerilogEval V2, and RTLLM benchmarks, HDLFORGE demonstrates improved accuracy-latency trade-offs compared to single-stage systems through comprehensive analysis of wall-clock time distributions, escalation thresholds, and agent ablations. On VerilogEval Human and VerilogEval V2, HDLFORGE-Qwen achieves 91.2% and 91.8% Pass@1 with roughly 50% lower median latency, dramatically improving accuracy over other medium-sized models, and 97.2% Pass@5 on RTLLM.


翻译:本文提出HDLFORGE,一种用于自动化Verilog生成的两阶段多智能体框架,旨在优化生成速度与准确性之间的权衡。该系统默认采用配备中等规模大语言模型的紧凑型编码器(阶段A),仅在必要时通过基于廉价诊断(包括编译、静态检查与冒烟测试)的校准分数引导,升级至配备超大规模大语言模型的强化编码器(阶段B)。核心创新在于引入反例引导的形式化验证智能体,其将有限模型检验轨迹转化为可复用的微测试,显著减少了错误检测时间与修复迭代次数。该可移植的升级控制器能够封装现有Verilog大语言模型流水线而无需修改其内部结构。通过在VerilogEval Human、VerilogEval V2及RTLLM基准测试上的评估,结合对实际运行时间分布、升级阈值与智能体消融实验的综合分析,HDLFORGE展现出相较于单阶段系统更优的准确率-延迟权衡特性。在VerilogEval Human和VerilogEval V2测试中,HDLFORGE-Qwen分别实现了91.2%与91.8%的Pass@1通过率,中位延迟降低约50%,较其他中等规模模型显著提升准确率,并在RTLLM基准上取得97.2%的Pass@5通过率。

0
下载
关闭预览

相关内容

多智能体协作机制
专知会员服务
21+阅读 · 4月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
55+阅读 · 2022年11月2日
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
16+阅读 · 2020年9月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
Palantir AIP平台:连接智能体与决策
专知会员服务
4+阅读 · 今天1:22
《美海军软件测试战略》90页slides
专知会员服务
6+阅读 · 今天1:00
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
6+阅读 · 4月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员