Backpropagation is typically presented as a symbolic procedure: a backward pass topologically distinct from inference, with non-local error signals and synchronous global clocking, features with no clear analog in physical reality. Existing physics-inspired alternatives recover gradients only approximately, in vanishing-perturbation limits, or under weight-symmetry constraints incompatible with feedforward architectures. In this paper, we address this gap by deriving exact backpropagation from Hamilton's least-action principle. By recasting the forward dynamics in continuous time and adapting a Lagrangian formalism for non-conservative systems to the resulting flow, we unify inference and gradient computation within a single variational framework on a doubled phase space, whose two conjugate fields jointly encode activations and sensitivities. A single global Lagrangian governs the dynamics: the task loss enters as a symmetry-breaking perturbation of the forward manifold, and credit assignment emerges as the tension that develops between the conjugate states. Inference and gradient computation thus unfold simultaneously through local interactions, requiring no separate backward circuit. Ultimately, standard backpropagation is recovered exactly as the discrete-time projection of this continuous flow. This perspective unifies the formalism of physics with backpropagation, opening a principled pathway for applying tools from classical mechanics - symplectic geometry, Noether's theorem, path-integral methods - to the analysis of learning dynamics. As a downstream consequence, it also points toward analog and neuromorphic substrates in which learning is embodied in the hardware itself.


翻译:反向传播通常被描述为一种符号化过程:与推理在拓扑上相分离的反向传递,携带非局域误差信号,并依赖同步全局时钟——这些特征在物理实在中缺乏明确对应。现有基于物理启发的替代方案只能在微扰极限近似下恢复梯度,或需满足与前馈架构不兼容的权重对称性约束。本文通过从哈密顿最小作用量原理推导出精确反向传播,填补了这一空白。通过将前向动力学重构为连续时间形式,并针对由此产生的流调整非保守系统的拉格朗日形式体系,我们将推理与梯度计算统一至扩展相空间内的单一变分框架中,其两个共轭场分别编码激活与敏感度。单一全局拉格朗日量支配动力学:任务损失作为前向流形的对称性破缺微扰进入系统,而信用分配则展现为共轭态之间发展的张量。推理与梯度计算因此通过局域相互作用同时展开,无需独立反向电路。最终,标准反向传播被精确恢复为该连续流的离散时间投影。这一视角将物理学形式体系与反向传播相统一,为应用经典力学工具——辛几何、诺特定理、路径积分方法——分析学习动力学开辟了原则性路径。作为衍生结果,它还指向了学习内嵌于硬件本身的模拟与神经形态基板。

0
下载
关闭预览

相关内容

反向传播一词严格来说仅指用于计算梯度的算法,而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法,包括如何使用梯度,例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则,该规则是反向传播的单层版本,然后通过自动微分进行广义化,其中反向传播是反向累积(或“反向模式”)的特例。 在机器学习中,反向传播(backprop)是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络(ANN)都存在反向传播的一般化–一类算法,通常称为“反向传播”。反向传播算法的工作原理是,通过链规则计算损失函数相对于每个权重的梯度,一次计算一层,从最后一层开始向后迭代,以避免链规则中中间项的冗余计算。
逆优化: 理论与应用
专知会员服务
38+阅读 · 2021年9月13日
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
【干货】理解深度学习中的矩阵运算
专知
12+阅读 · 2018年2月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
干货 | 深度学习之CNN反向传播算法详解
机器学习算法与Python学习
17+阅读 · 2017年11月21日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
8+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
14+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
10+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
相关资讯
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
【干货】理解深度学习中的矩阵运算
专知
12+阅读 · 2018年2月12日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
干货 | 深度学习之CNN反向传播算法详解
机器学习算法与Python学习
17+阅读 · 2017年11月21日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员