会员服务
Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization
Arxiv
0+阅读 · 6月22日
Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer
Arxiv
0+阅读 · 6月22日
Adam Converges in Nonsmooth Nonconvex Optimization
Arxiv
0+阅读 · 6月21日
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
Arxiv
0+阅读 · 6月15日
NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam
Arxiv
0+阅读 · 6月15日
Beyond a Single Explanation of the Adam--SGD Gap
Arxiv
0+阅读 · 6月12日
The Effect of Mini-Batch Noise on the Implicit Bias of Adam
Arxiv
0+阅读 · 5月7日
Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
Arxiv
0+阅读 · 6月1日
Muon Learns More Robust and Transferable Features than Adam
Arxiv
0+阅读 · 6月8日
Why Adam Works Better with $β_1 = β_2$: The Missing Gradient Scale Invariance Principle
Arxiv
0+阅读 · 5月11日
Linearized Bregman Iterations for Sparse Spiking Neural Networks
Arxiv
0+阅读 · 3月17日
Arc Gradient Descent: A Geometrically Motivated Gradient Descent-based Optimiser with Phase-Aware, User-Controlled Step Dynamics (proof-of-concept)
Arxiv
0+阅读 · 3月23日
Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization
Arxiv
0+阅读 · 3月31日
AdamFlow: Adam-based Wasserstein Gradient Flows for Surface Registration in Medical Imaging
Arxiv
0+阅读 · 4月2日
Evolutionary Optimization Trumps Adam Optimization on Embedding Space Exploration
Arxiv
0+阅读 · 4月10日
参考链接
微信扫码咨询专知VIP会员
Top