We study the statistical behaviour of reasoning probes in a stylized model of looped reasoning, given by Boolean circuits whose computational graph is a perfect $ν$-ary tree ($ν\ge 2$) and whose output is appended to the input and fed back iteratively for subsequent computation rounds. A reasoning probe has access to a sampled subset of internal computation nodes, possibly without covering the entire graph, and seeks to infer which $ν$-ary Boolean gate is executed at each queried node, representing uncertainty via a probability distribution over a fixed collection of $\mathtt{m}$ admissible $ν$-ary gates. This partial observability induces a generalization problem, which we analyze in a realizable, transductive setting. We show that, when the reasoning probe is parameterized by a graph convolutional network (GCN)-based hypothesis class and queries $N$ nodes, the worst-case generalization error attains the optimal rate $\mathcal{O}(\sqrt{\log(2/δ)}/\sqrt{N})$ with probability at least $1-δ$, for $δ\in (0,1)$. Our analysis combines snowflake metric embedding techniques with tools from statistical optimal transport. A key insight is that this optimal rate is achievable independently of graph size, owing to the existence of a low-distortion one-dimensional snowflake embedding of the induced graph metric. As a consequence, our results provide a sharp characterization of how structural properties of the computational graph govern the statistical efficiency of reasoning under partial access.


翻译:我们研究循环推理风格化模型中推理探针的统计行为,该模型由布尔电路给出,其计算图是完美的$ν$元树($ν\ge 2$),其输出被附加到输入并迭代反馈给后续计算轮次。推理探针可访问内部计算节点的采样子集(可能未覆盖整个图),并试图推断每个查询节点执行的是何种$ν$元布尔门,通过固定集合$\mathtt{m}$个可容许$ν$元门上的概率分布来表示不确定性。这种部分可观测性引出了一个泛化问题,我们在可实现的转导设置下对其进行分析。我们证明,当推理探针由基于图卷积网络(GCN)的假设类参数化并查询$N$个节点时,最坏情况泛化误差以至少$1-δ$的概率达到最优速率$\mathcal{O}(\sqrt{\log(2/δ)}/\sqrt{N})$,其中$δ\in (0,1)$。我们的分析结合了雪花度量嵌入技术与统计最优传输工具。一个关键见解是,由于诱导图度量存在低失真的一维雪花嵌入,该最优速率可独立于图大小实现。因此,我们的结果精确刻画了计算图的结构特性如何支配部分访问下推理的统计效率。

0
下载
关闭预览

相关内容

神经图推理:复杂逻辑查询回答的综述
专知会员服务
28+阅读 · 2024年12月10日
大型语言模型在表格推理中的应用综述
专知会员服务
47+阅读 · 2024年2月14日
面向表格数据的大模型推理综述
专知会员服务
66+阅读 · 2023年12月26日
神经图推理:满足图数据库的复杂逻辑查询回答
专知会员服务
16+阅读 · 2023年4月3日
具有组合结构的统计推断和在线算法
专知会员服务
12+阅读 · 2022年12月13日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员