会员服务
从目前的研究总结发现，模型规模的扩展是LLM能力提升的一个关键因素。从GPT-3的175B参数量到PaLM的540B记录，都验证了模型规模的扩展，导致能力的提升。 当然，大的模型尺寸是必不可少的，但是扩展定律并不仅限于此，它一共包括三个方面： 模型尺寸（Model size） 数据规模（Data size） 总计算量（Total compute） 此外，预训练数据的质量在保证模型性能方面有着关键作用，因此在扩展语料库时，要注意数据收集和清理的策略。
PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations
Arxiv
0+阅读 · 1月8日
Scaling Efficient LLMs
Arxiv
0+阅读 · 1月2日
Scaling Laws for Energy Efficiency of Local LLMs
Arxiv
0+阅读 · 2025年12月29日
Theoretical Foundations of Scaling Law in Familial Models
Arxiv
0+阅读 · 2025年12月29日
Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training
Arxiv
0+阅读 · 2025年12月25日
Unifying Learning Dynamics and Generalization in Transformers Scaling Law
Arxiv
0+阅读 · 2025年12月26日
Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Consulting, Data Analyst, and Management Tasks
Arxiv
0+阅读 · 2025年12月24日
Exploring Efficiency Frontiers of Thinking Budget in Medical Reasoning: Scaling Laws between Computational Resources and Reasoning Quality
Arxiv
0+阅读 · 2025年12月24日
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Arxiv
0+阅读 · 2025年12月20日
Scaling Laws for Energy Efficiency of Local LLMs
Arxiv
0+阅读 · 2025年12月23日
Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws
Arxiv
0+阅读 · 2025年12月20日
Can Language Models Discover Scaling Laws?
Arxiv
0+阅读 · 2025年12月15日
The Data Efficiency Frontier of Financial Foundation Models: Scaling Laws from Continued Pretraining
Arxiv
0+阅读 · 2025年12月13日
Superposition Yields Robust Neural Scaling
Arxiv
0+阅读 · 2025年11月29日
Neural Scaling Laws for Deep Regression
Arxiv
0+阅读 · 2025年11月24日
参考链接
微信扫码咨询专知VIP会员
Top