会员服务
Output Embedding Centering for Stable LLM Pretraining
Arxiv
0+阅读 · 1月5日
Bielik 7B v0.1: A Polish Language Model -- Development, Insights, and Evaluation
Arxiv
0+阅读 · 2025年12月29日
Arc Gradient Descent: A Mathematically Derived Reformulation of Gradient Descent with Phase-Aware, User-Controlled Step Dynamics
Arxiv
0+阅读 · 2025年12月20日
AdaLRS: Loss-Guided Adaptive Learning Rate Search for Efficient Foundation Model Pretraining
Arxiv
0+阅读 · 2025年12月20日
Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules
Arxiv
0+阅读 · 2025年11月3日
Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets
Arxiv
0+阅读 · 2025年11月27日
Representation Meets Optimization: Training PINNs and PIKANs for Gray-Box Discovery in Systems Pharmacology
Arxiv
0+阅读 · 2025年11月14日
OBLR-PO: A Theoretical Framework for Stable Reinforcement Learning
Arxiv
0+阅读 · 2025年11月28日
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Arxiv
0+阅读 · 2025年12月18日
Straight to Zero: Why Linearly Decaying the Learning Rate to Zero Works Best for LLMs
Arxiv
0+阅读 · 2025年11月23日
Neuronal Fluctuations: Learning Rates vs Participating Neurons
Arxiv
0+阅读 · 2025年11月13日
Adaptive Decentralized Federated Learning for Robust Optimization
Arxiv
0+阅读 · 2025年12月3日
Adaptive Decentralized Federated Learning for Robust Optimization
Arxiv
0+阅读 · 2025年12月2日
How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
Arxiv
0+阅读 · 2025年11月24日
Nonparametric Instrumental Variable Regression with Observed Covariates
Arxiv
0+阅读 · 2025年11月24日
参考链接
微信扫码咨询专知VIP会员
Top