Compliance testing in highly regulated domains is crucial but largely manual, requiring domain experts to translate complex regulations into executable test cases. While large language models (LLMs) show promise for automation, their susceptibility to hallucinations limits reliable application. Existing hybrid approaches mitigate this issue by constraining LLMs with formal models, but still rely on costly manual modeling. To solve this problem, this paper proposes RAFT, a framework for requirements auto-formalization and compliance test generation via explicating tacit regulatory knowledge from multiple LLMs. RAFT employs an Adaptive Purification-Aggregation strategy to explicate tacit regulatory knowledge from multiple LLMs and integrate it into three artifacts: a domain meta-model, a formal requirements representation, and testability constraints. These artifacts are then dynamically injected into prompts to guide high-precision requirement formalization and automated test generation. Experiments across financial, automotive, and power domains show that RAFT achieves expert-level performance, substantially outperforms state-of-the-art (SOTA) methods while reducing overall generation and review time.


翻译:在高度监管领域,合规测试至关重要但主要依赖人工,需要领域专家将复杂法规转化为可执行测试用例。尽管大型语言模型(LLMs)在自动化方面展现出潜力,但其易产生幻觉的特性限制了可靠应用。现有混合方法通过形式化模型约束LLMs来缓解此问题,但仍需依赖高成本的人工建模。为解决该问题,本文提出RAFT框架,通过从多个LLMs显式化隐性监管知识,实现需求自动形式化与合规测试生成。RAFT采用自适应纯化-聚合策略,从多个LLMs中显式化隐性监管知识,并将其整合为三个核心构件:领域元模型、形式化需求表示和可测试性约束。这些构件随后被动态注入提示中,以指导高精度需求形式化与自动化测试生成。在金融、汽车和电力领域的实验表明,RAFT达到专家级性能,显著优于现有最优方法,同时大幅减少整体生成与评审时间。

0
下载
关闭预览

相关内容

LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
27+阅读 · 2025年6月15日
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
生成型大型语言模型的自动事实核查:一项综述
专知会员服务
37+阅读 · 2024年7月6日
如何检测LLM内容?UCSB等最新首篇《LLM生成内容检测》综述
智能合约的形式化验证方法研究综述
专知
16+阅读 · 2021年5月8日
对比自监督学习
深度学习自然语言处理
35+阅读 · 2020年7月15日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员