会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
Stochastic Gradient Descent: A Nonlinear Time Series Perspective
Arxiv
0+阅读 · 10月14日
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Arxiv
0+阅读 · 10月14日
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Arxiv
0+阅读 · 10月13日
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
Arxiv
0+阅读 · 10月9日
Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
Arxiv
0+阅读 · 9月25日
The Exact Time-Uniform Rate Frontier for Stochastic Gradient Descent on Smooth Convex Objectives
Arxiv
0+阅读 · 9月8日
Continuous Delayed-Memory Stochastic Gradient Descent and Continuous-Time Reinforcement Learning from History of Astrophysical Time Series Studies
Arxiv
0+阅读 · 9月17日
Continuous Delayed-Memory Stochastic Gradient Descent and Continuous-Time Reinforcement Learning from History of Astrophysical Time Series Studies
Arxiv
0+阅读 · 9月22日
Online simultaneous inference for quantiles via smoothed stochastic gradient descent
Arxiv
0+阅读 · 9月1日
Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method
Arxiv
0+阅读 · 9月1日
Stochastic gradient descent with initial regularization
Arxiv
0+阅读 · 8月24日
A Link between Shock-wave Theory and Symmetry-reduced Stochastic Gradient Descent for Artificial Neural Networks
Arxiv
0+阅读 · 6月16日
Noise-Driven Exploration and Transient Freezing Select Flat Minima in Stochastic Gradient Descent
Arxiv
0+阅读 · 6月16日
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
Arxiv
0+阅读 · 6月9日
Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
Arxiv
0+阅读 · 6月11日
参考链接
微信扫码咨询专知VIP会员
Top