会员服务
随机梯度下降 · SGD · 机器学习 · 计算学习理论 ·
2021 年 3 月 26 日
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
翻译：斯托查斯渐变后裔的趋同:自足的证据
Gabrel Turinici
Gabrel Turinici

We give here a proof of the convergence of the Stochastic Gradient Descent (SGD) in a self-contained manner.


翻译：我们在这里提供证据,以自成一体的方式证明 " 沙粒梯子 " 后裔的趋同。
0
下载
关闭预览

相关内容

随机梯度下降，按照数据生成分布抽取m个样本，通过计算他们梯度的平均值来更新梯度。
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
19+阅读 · 2020年6月29日
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
专知会员服务
35+阅读 · 2020年5月25日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
59+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
神经网络学习率设置
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Convergence Analysis of Riemannian Stochastic Approximation Schemes
Arxiv
0+阅读 · 2021年5月19日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
随机梯度下降
SGD
机器学习
计算学习理论
相关VIP内容
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
【ICML2020】噪声在随机梯度下降中的泛化效益，On the Generalization Benefit of Noise in Stochastic Gradient Descent
专知会员服务
19+阅读 · 2020年6月29日
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
最近几种小样本元学习简明综述，A Concise Review of Recent Few-shot Meta-learning Methods
专知会员服务
35+阅读 · 2020年5月25日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
59+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
【人工智能在2019：一年回顾】反人工智能，AI in 2019: A Year in Review
专知会员服务
79+阅读 · 2019年10月10日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
神经网络学习率设置
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Convergence Analysis of Riemannian Stochastic Approximation Schemes
Arxiv
0+阅读 · 2021年5月19日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Arxiv
4+阅读 · 2019年5月9日
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
Arxiv
8+阅读 · 2018年11月21日
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Arxiv
3+阅读 · 2018年10月1日
Asynchronous Byzantine Machine Learning (the case of SGD)
Arxiv
3+阅读 · 2018年7月9日
Top
微信扫码咨询专知VIP会员
Top