会员服务
动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。
Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum
Arxiv
0+阅读 · 6月22日
DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs
Arxiv
0+阅读 · 6月23日
MetaPS: Adaptive Programmatic Strategy Selection for Market Agents
Arxiv
0+阅读 · 6月21日
Convergence Rate Analysis of LION
Arxiv
0+阅读 · 6月22日
A Geometric Task-Space Port-Hamiltonian Formulation for Redundant Manipulators
Arxiv
0+阅读 · 6月19日
Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
Arxiv
0+阅读 · 6月17日
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
Arxiv
0+阅读 · 6月15日
MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization
Arxiv
0+阅读 · 6月16日
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
Arxiv
0+阅读 · 6月16日
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Arxiv
0+阅读 · 6月8日
Communication-Efficient Neural Tangent Kernels for Heterogeneous Decentralized Federated Learning
Arxiv
0+阅读 · 6月13日
Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems
Arxiv
0+阅读 · 6月15日
CacheMuon: Using Temporal Preconditioning To Approximate Polar Factor
Arxiv
0+阅读 · 6月15日
GPT-Based Fast Simulation of CLAS12 Detector Hits via Conditional Autoregressive Generation
Arxiv
0+阅读 · 6月14日
Machine-learned particle flow as a foundation model for collider physics
Arxiv
0+阅读 · 6月12日
参考链接
微信扫码咨询专知VIP会员
Top