会员服务
Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization
Arxiv
0+阅读 · 6月15日
Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
Arxiv
0+阅读 · 5月19日
Twin: Tuning Learning Rate and Weight Decay of Deep Homogeneous Classifiers without Validation
Arxiv
0+阅读 · 6月5日
Neural Weight Norm = Kolmogorov Complexity
Arxiv
0+阅读 · 5月11日
WSCM-Lite: A Practitioner-Ready Implementation of the Weak Signal Cultivation Model
Arxiv
0+阅读 · 4月7日
Learning to Forget: Continual Learning with Adaptive Weight Decay
Arxiv
0+阅读 · 4月29日
Cautious Weight Decay
Arxiv
0+阅读 · 2月24日
Logarithmic-time Schedules for Scaling Language Models with Momentum
Arxiv
0+阅读 · 2月18日
Optimizer choice matters for the emergence of Neural Collapse
Arxiv
0+阅读 · 2月18日
Key and Value Weights Are Probably All You Need: On the Necessity of the Query, Key, Value weight Triplet in Encoder-Only and Decoder-Only Transformers
Arxiv
0+阅读 · 2月6日
Weight Decay may matter more than muP for Learning Rate Transfer in Practice
Arxiv
0+阅读 · 2月13日
Weight Decay Improves Language Model Plasticity
Arxiv
0+阅读 · 2月11日
Provable Emergence of Deep Neural Collapse and Low-Rank Bias in $L^2$-Regularized Nonlinear Networks
Arxiv
0+阅读 · 2月11日
Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering
Arxiv
0+阅读 · 2月5日
Logarithmic-time Schedules for Scaling Language Models with Momentum
Arxiv
0+阅读 · 2月5日
参考链接
微信扫码咨询专知VIP会员
Top