Automating Infrastructure-as-Code (IaC) is challenging, and large language models (LLMs) often produce incorrect configurations from natural language (NL). We present TerraFormer, a neuro-symbolic framework for IaC generation and mutation that combines supervised fine-tuning with verifier-guided reinforcement learning, using formal verification tools to provide feedback on syntax, deployability, and policy compliance. We curate two large, high-quality NL-to-IaC datasets, TF-Gen (152k instances) and TF-Mutn (52k instances), via multi-stage verification and iterative LLM self-correction. Evaluations against 17 state-of-the-art LLMs, including ~50x larger models like Sonnet 3.7, DeepSeek-R1, and GPT-4.1, show that TerraFormer improves correctness over its base LLM by 15.94% on IaC-Eval, 11.65% on TF-Gen (Test), and 19.60% on TF-Mutn (Test). It outperforms larger models on both TF-Gen (Test) and TF-Mutn (Test), ranks third on IaC-Eval, and achieves top best-practices and security compliance.


翻译:自动化基础设施即代码(IaC)具有挑战性,大型语言模型(LLM)常从自然语言(NL)生成错误的配置。我们提出TerraFormer,一个用于IaC生成与变更的神经符号框架,它结合了监督微调与验证器引导的强化学习,利用形式化验证工具提供语法、可部署性及策略合规性反馈。我们通过多阶段验证与迭代式LLM自校正,构建了两个大规模高质量的NL-to-IaC数据集:TF-Gen(15.2万实例)和TF-Mutn(5.2万实例)。在针对17个前沿LLM(包括参数量约50倍于本模型的Sonnet 3.7、DeepSeek-R1和GPT-4.1)的评估中,TerraFormer在IaC-Eval上将其基础LLM的正确率提升了15.94%,在TF-Gen(测试集)上提升11.65%,在TF-Mutn(测试集)上提升19.60%。该模型在TF-Gen(测试集)和TF-Mutn(测试集)上均超越更大规模的模型,在IaC-Eval中位列第三,并在最佳实践与安全合规性方面达到最优水平。

0
下载
关闭预览

相关内容

测试集,在AI领域多指机器学习模型训练完成后,用于其测试的数据,以观测其性能以及泛化能力。
《大型语言模型代码生成》综述
专知会员服务
68+阅读 · 2024年6月4日
自动编程:大型语言模型及其他
专知会员服务
36+阅读 · 2024年5月12日
基于大语言模型的复杂任务自主规划处理框架
专知会员服务
101+阅读 · 2024年4月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员