会员服务
反向传播一词严格来说仅指用于计算梯度的算法，而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法，包括如何使用梯度，例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则，该规则是反向传播的单层版本，然后通过自动微分进行广义化，其中反向传播是反向累积（或“反向模式”）的特例。 在机器学习中，反向传播（backprop）是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络（ANN）都存在反向传播的一般化–一类算法，通常称为“反向传播”。反向传播算法的工作原理是，通过链规则计算损失函数相对于每个权重的梯度，一次计算一层，从最后一层开始向后迭代，以避免链规则中中间项的冗余计算。
BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training
Arxiv
0+阅读 · 2月17日
Unbiased Approximate Vector-Jacobian Products for Efficient Backpropagation
Arxiv
0+阅读 · 2月16日
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
Arxiv
0+阅读 · 2月13日
Deep Network Trainability via Persistent Subspace Orthogonality
Arxiv
0+阅读 · 2月11日
LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning
Arxiv
0+阅读 · 2月13日
TABES: Trajectory-Aware Backward-on-Entropy Steering for Masked Diffusion Models
Arxiv
0+阅读 · 2月11日
Unbiased Gradient Estimation for Event Binning via Functional Backpropagation
Arxiv
0+阅读 · 2月13日
Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
Arxiv
0+阅读 · 2月16日
Escaping Spectral Bias without Backpropagation: Fast Implicit Neural Representations with Extreme Learning Machines
Arxiv
0+阅读 · 2月7日
Structural Plasticity as Active Inference: A Biologically-Inspired Architecture for Homeostatic Control
Arxiv
0+阅读 · 2月10日
Backpropagation as Physical Relaxation: Exact Gradients in Finite Time
Arxiv
0+阅读 · 2月2日
Training-Free Test-Time Adaptation with Brownian Distance Covariance in Vision-Language Models
Arxiv
0+阅读 · 1月30日
Reparameterization Flow Policy Optimization
Arxiv
0+阅读 · 2月3日
ePC: Fast and Deep Predictive Coding for Digital Hardware
Arxiv
0+阅读 · 2月2日
A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics
Arxiv
0+阅读 · 2月2日
参考链接
微信扫码咨询专知VIP会员
Top