As AI systems move into high stakes domains such as legal reasoning, medical diagnosis, and financial decision making, regulators and practitioners increasingly demand auditability. Auditability means the ability to trace exactly what each step in a multi step workflow saw and did. Current large language model based workflows are fundamentally opaque. Context pollution, defined as the accumulation of information across reasoning steps, causes models to hallucinate and lose track of constraints. At the same time, implicit data flow makes it impossible to reconstruct what any given step actually received as input. We present NormCode, a semi formal language that makes AI workflows auditable by construction. Each inference step operates in enforced data isolation and can access only explicitly passed inputs. This eliminates cross step contamination and ensures that every intermediate state can be inspected. A strict separation between semantic operations, meaning probabilistic language model reasoning, and syntactic operations, meaning deterministic data flow, allows auditors to clearly distinguish inference from mechanical restructuring. The multi format ecosystem, consisting of NCDS, NCD, NCN, and NCDN files, allows developers, domain experts, and auditors to inspect the same plan in formats suited to their individual needs. A four phase compilation pipeline transforms natural language intent into executable JSON repositories. A visual Canvas application provides real time graph visualization and breakpoint debugging. We validate the approach by achieving full accuracy on base X addition and by self hosted execution of the NormCode compiler itself. These results demonstrate that structured intermediate representations can bridge human intuition and machine rigor while maintaining full transparency.


翻译:随着人工智能系统进入法律推理、医疗诊断和金融决策等高风险领域,监管机构和从业者对可审计性的需求日益增长。可审计性意味着能够精确追踪多步骤工作流中每个步骤的输入与输出。当前基于大语言模型的工作流本质上是不可解释的。上下文污染(定义为跨推理步骤的信息累积)会导致模型产生幻觉并丢失约束条件。同时,隐式数据流使得无法重建任何给定步骤实际接收的输入。本文提出NormCode,一种通过构造实现AI工作流可审计性的半形式化语言。每个推理步骤在强制数据隔离下运行,仅能访问显式传递的输入。这消除了跨步骤污染,并确保每个中间状态均可被检查。语义操作(指概率性语言模型推理)与语法操作(指确定性数据流)的严格分离,使审计者能够清晰区分推理过程与机械性数据重组。由NCDS、NCD、NCN和NCDN文件构成的多格式生态系统,允许开发者、领域专家和审计者以适合各自需求的格式检查同一规划。四阶段编译流水线将自然语言意图转换为可执行的JSON知识库。可视化Canvas应用提供实时图结构展示与断点调试功能。我们通过在基础X加法任务上实现完全准确率,以及通过自托管执行NormCode编译器本身,验证了该方法的有效性。这些结果表明,结构化中间表示能够在保持完全透明度的同时,有效连接人类直觉与机器严谨性。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员