会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
A Link between Shock-wave Theory and Symmetry-reduced Stochastic Gradient Descent for Artificial Neural Networks
Arxiv
0+阅读 · 6月16日
Noise-Driven Exploration and Transient Freezing Select Flat Minima in Stochastic Gradient Descent
Arxiv
0+阅读 · 6月16日
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
Arxiv
0+阅读 · 6月9日
Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes
Arxiv
0+阅读 · 6月11日
Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance
Arxiv
0+阅读 · 5月25日
Central Limit Theorems for Stochastic Gradient Descent Quantile Estimators
Arxiv
0+阅读 · 6月11日
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Arxiv
0+阅读 · 6月5日
What is the long-run distribution of stochastic gradient descent? A large deviations analysis
Arxiv
0+阅读 · 5月18日
A General Framework for Joint Multi-State Models
Arxiv
0+阅读 · 5月25日
Optimal Asymptotic Rates for (Stochastic) Gradient Descent under the Local PL-Condition: A Geometric Approach
Arxiv
0+阅读 · 5月14日
Fisher-Geometric Diffusion in Stochastic Gradient Descent: Optimal Rates, Oracle Complexity, and Information-Theoretic Limits
Arxiv
0+阅读 · 4月10日
Amplified Patch-Level Differential Privacy for Free via Random Cropping
Arxiv
0+阅读 · 3月25日
Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent
Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent
Arxiv
0+阅读 · 5月4日
Gradient Manipulation in Distributed Stochastic Gradient Descent with Strategic Agents: Truthful Incentives with Convergence Guarantees
Arxiv
0+阅读 · 3月30日
Interactive Learning of Single-Index Models via Stochastic Gradient Descent
Arxiv
0+阅读 · 2月19日
参考链接
微信扫码咨询专知VIP会员
Top