The proliferation of agentic systems has thrust the reasoning capabilities of AI into the forefront of contemporary machine learning. While it is known that there \emph{exist} neural networks which can reason through any Boolean task $f:\{0,1\}^B\to\{0,1\}$, in the sense that they emulate Boolean circuits with fan-in $2$ and fan-out $1$ gates, trained models have been repeatedly demonstrated to fall short of these theoretical ideals. This raises the question: \textit{Can one exhibit a deep learning model which \textbf{certifiably} always reasons and can \textbf{universally} reason through any Boolean task?} Moreover, such a model should ideally require few parameters to solve simple Boolean tasks. We answer this question affirmatively by exhibiting a deep learning architecture which parameterizes distributions over Boolean circuits with the guarantee that, for every parameter configuration, a sample is almost surely a valid Boolean circuit (and hence admits an intrinsic circuit-level certificate). We then prove a universality theorem: for any Boolean $f:\{0,1\}^B\to\{0,1\}$, there exists a parameter configuration under which the sampled circuit computes $f$ with arbitrarily high probability. When $f$ is an $\mathcal{O}(\log B)$-junta, the required number of parameters scales linearly with the input dimension $B$. Empirically, on a controlled truth-table completion benchmark aligned with our setting, the proposed architecture trains reliably and achieves high exact-match accuracy while preserving the predicted structure: every internal unit is Boolean-valued on $\{0,1\}^B$. Matched MLP baselines reach comparable accuracy, but only about $10\%$ of hidden units admit a Boolean representation; i.e.\ are two-valued over the Boolean cube.


翻译:智能体系统的激增将人工智能的推理能力推向了当代机器学习的前沿。尽管已知存在能够处理任意布尔任务$f:\{0,1\}^B\to\{0,1\}$的神经网络——即它们能够模拟具有扇入$2$和扇出$1$门的布尔电路——但经过训练的模型屡次被证明无法达到这些理论理想。这引发了一个问题:能否提出一种深度学习模型,该模型可认证地始终进行推理,并且能够普适地处理任何布尔任务?此外,这种模型理想情况下应仅需少量参数即可解决简单的布尔任务。我们通过提出一种深度学习架构对这个问题给出了肯定回答,该架构对布尔电路分布进行参数化,并保证对于每个参数配置,采样结果几乎必然是一个有效的布尔电路(因而具备内在的电路级可认证性)。随后我们证明了一个普适性定理:对于任意布尔函数$f:\{0,1\}^B\to\{0,1\}$,存在一个参数配置,使得在该配置下采样的电路以任意高概率计算$f$。当$f$是$\mathcal{O}(\log B)$-junta函数时,所需参数数量随输入维度$B$线性增长。在实验方面,在与我们设定相符的受控真值表补全基准测试中,所提出的架构训练稳定,在保持预测结构的同时实现了较高的精确匹配准确率:每个内部单元在$\{0,1\}^B$上均为布尔值。与之匹配的MLP基线模型虽然达到了相当的准确率,但仅有约$10\%$的隐藏单元允许布尔表示;即在布尔立方体上呈现二值特性。

0
下载
关闭预览

相关内容

在回答之前先解释:组合视觉推理综述
专知会员服务
15+阅读 · 2025年8月27日
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
深度学习在数学推理中的应用综述
专知会员服务
48+阅读 · 2022年12月25日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
13+阅读 · 2020年3月3日
自然语言处理常识推理综述论文,60页pdf
专知
73+阅读 · 2019年4月4日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月16日
Arxiv
0+阅读 · 1月20日
VIP会员
相关资讯
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员