会员服务
随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
Interactive Learning of Single-Index Models via Stochastic Gradient Descent
Arxiv
0+阅读 · 2月19日
On-Average Stability of Multipass Preconditioned SGD and Effective Dimension
Arxiv
0+阅读 · 3月12日
Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory
Arxiv
0+阅读 · 3月5日
Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory
Arxiv
0+阅读 · 3月7日
Learning with Locally Private Examples by Inverse Weierstrass Private Stochastic Gradient Descent
Arxiv
0+阅读 · 2月18日
Functional Central Limit Theorem for Stochastic Gradient Descent
Arxiv
0+阅读 · 2月17日
Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
Arxiv
0+阅读 · 2月7日
Stopping Rules for SGD via Anytime-Valid Confidence Sequences
Arxiv
0+阅读 · 2月10日
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Arxiv
0+阅读 · 2月13日
Limitations of SGD for Multi-Index Models Beyond Statistical Queries
Arxiv
0+阅读 · 2月5日
Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
Arxiv
0+阅读 · 2月2日
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
Arxiv
0+阅读 · 1月21日
An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
Arxiv
0+阅读 · 1月15日
Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
Arxiv
0+阅读 · 1月10日
Tight Analysis of Decentralized SGD: A Markov Chain Perspective
Arxiv
0+阅读 · 1月11日
参考链接
微信扫码咨询专知VIP会员
Top