会员服务
Optimizer choice matters for the emergence of Neural Collapse
Arxiv
0+阅读 · 8月24日
Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning
Arxiv
0+阅读 · 7月7日
Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse
Arxiv
0+阅读 · 7月3日
Robust and Fast Training via Per-Sample Clipping
Robust and Fast Training via Per-Sample Clipping
Arxiv
0+阅读 · 6月23日
Decentralized SGD with Controlled Disagreement Finds Flatter Minima
Arxiv
0+阅读 · 6月23日
Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
Arxiv
0+阅读 · 6月22日
Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
Arxiv
0+阅读 · 6月17日
Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs
Arxiv
0+阅读 · 6月16日
On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials
Arxiv
0+阅读 · 6月16日
Noise-Driven Exploration and Transient Freezing Select Flat Minima in Stochastic Gradient Descent
Arxiv
0+阅读 · 6月16日
Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning
Arxiv
0+阅读 · 6月16日
Schattor: Schatten-family methods for deep learning optimization
Arxiv
0+阅读 · 6月14日
Privacy Amplification for BandMF via $b$-Min-Sep Subsampling
Arxiv
0+阅读 · 6月11日
Beyond a Single Explanation of the Adam--SGD Gap
Arxiv
0+阅读 · 6月12日
Performance and Complexity Trade-off Optimization of Speech Models During Training
Arxiv
0+阅读 · 5月28日
参考链接
微信扫码咨询专知VIP会员
Top