会员服务
从目前的研究总结发现，模型规模的扩展是LLM能力提升的一个关键因素。从GPT-3的175B参数量到PaLM的540B记录，都验证了模型规模的扩展，导致能力的提升。 当然，大的模型尺寸是必不可少的，但是扩展定律并不仅限于此，它一共包括三个方面： 模型尺寸（Model size） 数据规模（Data size） 总计算量（Total compute） 此外，预训练数据的质量在保证模型性能方面有着关键作用，因此在扩展语料库时，要注意数据收集和清理的策略。
Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
Arxiv
0+阅读 · 10月21日
Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation
Arxiv
0+阅读 · 10月20日
Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy
Arxiv
0+阅读 · 10月19日
Foundations of the Scaling Law
Arxiv
0+阅读 · 10月20日
Data Density Scaling Laws for Image Self-Distillation
Arxiv
0+阅读 · 10月13日
Search Dimension in Unlabeled Projection Pursuit: A Scaling Law for Subspace Restriction
Arxiv
0+阅读 · 9月29日
Divergence-Minimizing Distribution Matching for Parallel Channels and Channels with Memory
Arxiv
0+阅读 · 9月28日
A Unified Scaling Law for Time Series Foundation Models
Arxiv
0+阅读 · 10月4日
The N-5 Scaling Law: Topological Dimensionality Reduction in the Optimal Design of Fully-actuated Multirotors
Arxiv
0+阅读 · 9月25日
How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models
Arxiv
0+阅读 · 8月28日
How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule
Arxiv
0+阅读 · 8月2日
Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning
Arxiv
0+阅读 · 6月29日
Active Inference as the Test-Time Scaling Law for Physical AI Agents
Arxiv
0+阅读 · 6月22日
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Arxiv
0+阅读 · 6月22日
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Arxiv
0+阅读 · 6月5日
参考链接
微信扫码咨询专知VIP会员
Top