We present this as a negative result with an explanatory mechanism, not as a formal upper bound. Predictive coding networks (PCNs) admit a K-way energy probe in which each candidate class is fixed as a target, inference is run to settling, and the per-hypothesis settled energies are compared. The probe appears to read a richer signal source than softmax, since the per-hypothesis energy depends on the entire generative chain. We argue this appearance is misleading under the standard Pinchetti-style discriminative PC formulation. We present an approximate reduction showing that with target-clamped CE-energy training and effectively-feedforward latent dynamics, the K-way energy margin decomposes into a monotone function of the log-softmax margin plus a residual that is not trained to correlate with correctness. The decomposition predicts that the structural probe should track softmax from below. We test this across six conditions on CIFAR-10: extended deterministic training, direct measurement of latent movement during inference, a post-hoc decoder fairness control on a backpropagation network, a matched-budget PC vs BP comparison, a five-point Langevin temperature sweep, and trajectory-integrated MCPC training. In every condition the probe sat below softmax. The gap was stable across training procedures within the discriminative PC family. Final-state and trajectory-integrated training produced probes whose AUROC_2 values differed by less than 10^-3 at deterministic evaluation. The empirical regime is small: single seed, 2.1M-parameter network, 1280 test images. We frame the result as a preprint inviting replication. We discuss conditions under which the decomposition does not apply (bidirectional PC, prospective configuration, generative PC, non-CE energy formulations) and directions for productive structural probing the analysis does not foreclose.


翻译:我们将其作为附带解释机制的负面结果呈现,而非形式化上界。预测编码网络(PCNs)允许使用K路能量探针:将每个候选类别固定为目标,运行推理直至收敛,并比较各假设下的稳态能量。该探针似乎能读取比softmax更丰富的信号源,因为每个假设的能量取决于整个生成链。我们论证,在标准Pinchetti式判别性PC框架下,这种表象具有误导性。我们提出近似简化证明:在目标钳制交叉熵(CE)能量训练与有效前馈潜变量动力学条件下,K路能量间隔可分解为对数-softmax间隔的单调函数加上一个未经正确性相关训练残差项。该分解预测结构探针将始终低于softmax的跟踪表现。我们在CIFAR-10上设置六种条件验证:扩展确定性训练、推理期间潜变量运动直接测量、反向传播网络的后验解码器公平性控制、等预算PC与BP对比、五点朗之万温度扫描、以及轨迹积分MCPC训练。所有条件下探针均低于softmax。在判别性PC框架内,该差距在不同训练流程中保持稳定。最终状态与轨迹积分训练产生的探针AUROC_2值在确定性评估中差异小于10^-3。实证规模较小:单一随机种子、2.1M参数网络、1280张测试图像。我们将此结果作为预印本呈现以鼓励复现。我们讨论该分解不适用的情形(双向PC、前瞻配置、生成式PC、非CE能量公式)以及分析未排除的、具有建设性的结构探针研究方向。

0
下载
关闭预览

相关内容

异质信息网络链路预测方法综述
专知会员服务
17+阅读 · 2024年8月8日
《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
【KDD2023】基于弱信息的强图神经网络学习
专知会员服务
39+阅读 · 2023年6月4日
专知会员服务
19+阅读 · 2020年9月11日
基于TensorFlow和Keras的图像识别
Python程序员
16+阅读 · 2019年6月24日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 4月21日
VIP会员
最新内容
AutoScientists:自组织智能体团队驱动长期科学实验
战略前沿人工智能的再思考(中文)
专知会员服务
3+阅读 · 今天14:53
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
3+阅读 · 今天14:51
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
2+阅读 · 今天14:38
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
13+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员