会员服务
动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。
Explainable Heterogeneous Anomaly Detection in Financial Networks via Adaptive Expert Routing
Arxiv
0+阅读 · 3月8日
Dynamic Modeling and Attitude Control of a Reaction-Wheel-Based Low-Gravity Bipedal Hopper
Arxiv
0+阅读 · 3月11日
Progressive Value Reading: The Use of Motion to Gradually Examine Data Involving Large Magnitudes
Arxiv
0+阅读 · 2月23日
Sentiment-Aware Mean-Variance Portfolio Optimization for Cryptocurrencies
Arxiv
0+阅读 · 3月4日
Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation
Arxiv
0+阅读 · 2月27日
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
Arxiv
0+阅读 · 3月9日
Fast proton transport and neutron production in proton therapy using Fourier neural operators
Arxiv
0+阅读 · 3月4日
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
Arxiv
0+阅读 · 3月3日
Trajectory Generation with Endpoint Regulation and Momentum-Aware Dynamics for Visually Impaired Scenarios
Arxiv
0+阅读 · 2月25日
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
Arxiv
0+阅读 · 3月5日
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
Arxiv
0+阅读 · 2月18日
High-dimensional limit theorems for SGD: Momentum and Adaptive Step-sizes
Arxiv
0+阅读 · 2月18日
Logarithmic-time Schedules for Scaling Language Models with Momentum
Arxiv
0+阅读 · 2月18日
Systematic Trend-Following with Adaptive Portfolio Construction: Enhancing Risk-Adjusted Alpha in Cryptocurrency Markets
Arxiv
0+阅读 · 2月12日
Multi-Momentum Observer Contact Estimation for Bipedal Robots
Arxiv
0+阅读 · 2月10日
参考链接
微信扫码咨询专知VIP会员
Top