Modular neural network pipelines suffer from error compounding: noise at any module boundary propagates and potentially amplifies through subsequent modules. We introduce energy conservation as a hard physical constraint on inter-module information flow. Activation energy (the squared L2 norm of feature vectors) is enforced to be exactly preserved at every module boundary. Unlike soft energy penalties, conservation is an inviolable law: the network may redistribute energy across neurons but cannot create or destroy it. Four experiments on CIFAR-10 demonstrate: (1) conservation retains 77.4% of clean accuracy at noise sigma=0.2, versus 35.1% for baselines and 30.9% for energy-penalized models (p<0.001, 5 seeds); (2) pipelines become depth-invariant, retaining 93.3% at depths 2 through 5 with noise at every boundary; (3) the advantage generalizes to systematic bias (+45.1%), Gaussian (+40.4%), and adversarial noise (+4.8%), with a principled non-effect on dropout (-0.3%); (4) on ResNet-18, the conservation advantage scales inversely with intrinsic normalization: +0.3 pp with BatchNorm, +26.2 pp without at sigma=0.2, reaching +58.0 pp at sigma=0.5. Experiment 5 validates the operator on a real modular robotic pipeline (MuJoCo physics, Franka Panda). Across three independent runs on separate machines (90 trials per cell), conservation provides +18.9 pp average advantage on monocular-depth-style noise. A formal bound proves conserved noise energy is strictly less than input noise energy.


翻译:模块化神经网络流水线存在误差累积问题:任何模块边界的噪声都会传播并可能在后续模块中被放大。我们引入能量守恒作为模块间信息流的硬性物理约束。激活能量(特征向量的平方L2范数)被强制要求在每一个模块边界上精确守恒。与软能量惩罚不同,守恒是一条不可违反的法则:网络可以在神经元间重新分配能量,但既不能创造也不能毁灭能量。在CIFAR-10上的四组实验表明:(1) 当噪声sigma=0.2时,守恒方法保留了77.4%的清洁准确率,而基线模型为35.1%,能量惩罚模型为30.9%(p<0.001,5个随机种子);(2) 流水线具有深度不变性,在每层边界均有噪声的情况下,深度2至5层均保留93.3%的准确率;(3) 该优势可推广至系统性偏差(+45.1%)、高斯噪声(+40.4%)和对抗性噪声(+4.8%),而对Dropout具有原则性的无效应(-0.3%);(4) 在ResNet-18上,守恒优势与内在归一化呈反比:带BatchNorm时+0.3个百分点,无BatchNorm时在sigma=0.2下+26.2个百分点,在sigma=0.5下达到+58.0个百分点。实验5在真实模块化机器人流水线(MuJoCo物理引擎,Franka Panda机械臂)上验证了该算子。在独立机器上的三次独立运行(每个单元90次试验)中,守恒方法在单目深度风格噪声下提供了平均+18.9个百分点的优势。一个形式化界证明了守恒噪声能量严格小于输入噪声能量。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
21+阅读 · 2025年7月23日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
超全总结:神经网络加速之量化模型 | 附带代码
FCS 论坛 | 孟德宇:误差建模原理
FCS
15+阅读 · 2017年8月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
基于脉冲神经网络的边缘智能
专知会员服务
21+阅读 · 2025年7月23日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员