会员服务
High-dimensional limit theorems for SGD: Momentum and Adaptive Step-sizes
Arxiv
0+阅读 · 2月18日
High-dimensional learning dynamics of multi-pass Stochastic Gradient Descent in multi-index models
Arxiv
0+阅读 · 2月17日
Understanding Transformer Optimization via Gradient Heterogeneity
Arxiv
0+阅读 · 2月18日
Learning with Locally Private Examples by Inverse Weierstrass Private Stochastic Gradient Descent
Arxiv
0+阅读 · 2月18日
Optimizer choice matters for the emergence of Neural Collapse
Arxiv
0+阅读 · 2月18日
In-Run Data Shapley for Adam Optimizer
Arxiv
0+阅读 · 2月6日
Differentially Private Adaptation of Diffusion Models via Noisy Aggregated Embeddings
Arxiv
0+阅读 · 2月6日
Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds
Arxiv
0+阅读 · 2月15日
Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization
Arxiv
0+阅读 · 2月10日
Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs
Arxiv
0+阅读 · 2月7日
Stopping Rules for SGD via Anytime-Valid Confidence Sequences
Arxiv
0+阅读 · 2月10日
Training in reverse: How iteration order influences convergence and stability in deep learning
Arxiv
0+阅读 · 2月6日
Fast and Large-Scale Unbalanced Optimal Transport via its Semi-Dual and Adaptive Gradient Methods
Arxiv
0+阅读 · 2月11日
High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory
Arxiv
0+阅读 · 2月6日
High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory
Arxiv
0+阅读 · 2月16日
参考链接
微信扫码咨询专知VIP会员
Top