会员服务
AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs
Arxiv
0+阅读 · 2025年11月5日
Superposition Yields Robust Neural Scaling
Arxiv
0+阅读 · 2025年11月29日
Homeostatic Ubiquity of Hebbian Dynamics in Regularized Learning Rules
Arxiv
0+阅读 · 2025年11月30日
On the Neural Feature Ansatz for Deep Neural Networks
Arxiv
0+阅读 · 2025年10月17日
Robust Layerwise Scaling Rules by Proper Weight Decay Tuning
Arxiv
0+阅读 · 2025年10月17日
Cautious Weight Decay
Arxiv
0+阅读 · 2025年10月14日
Understanding the Generalization of Stochastic Gradient Adam in Learning Neural Networks
Arxiv
0+阅读 · 2025年10月13日
AlphaDecay:Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs
Arxiv
0+阅读 · 2025年6月17日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 2025年7月1日
Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts
Arxiv
0+阅读 · 2025年6月19日
Low-rank bias, weight decay, and model merging in neural networks
Arxiv
0+阅读 · 2025年2月24日
How to set AdamW's weight decay as you scale model and dataset size
Arxiv
0+阅读 · 2025年2月2日
Structure Development in List-Sorting Transformers
Arxiv
0+阅读 · 2025年1月30日
Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
Arxiv
0+阅读 · 2025年2月21日
Online Reinforcement Learning-Based Dynamic Adaptive Evaluation Function for Real-Time Strategy Tasks
Arxiv
0+阅读 · 2025年1月7日
参考链接
微信扫码咨询专知VIP会员
Top