会员服务
从目前的研究总结发现，模型规模的扩展是LLM能力提升的一个关键因素。从GPT-3的175B参数量到PaLM的540B记录，都验证了模型规模的扩展，导致能力的提升。 当然，大的模型尺寸是必不可少的，但是扩展定律并不仅限于此，它一共包括三个方面： 模型尺寸（Model size） 数据规模（Data size） 总计算量（Total compute） 此外，预训练数据的质量在保证模型性能方面有着关键作用，因此在扩展语料库时，要注意数据收集和清理的策略。
Bending the Scaling Law Curve in Large-Scale Recommendation Systems
Arxiv
0+阅读 · 2月19日
Quantifying construct validity in large language model evaluations
Arxiv
0+阅读 · 2月17日
Neural Scaling Laws for Boosted Jet Tagging
Arxiv
0+阅读 · 2月17日
Prescriptive Scaling Reveals the Evolution of Language Model Capabilities
Arxiv
0+阅读 · 2月17日
Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules
Arxiv
0+阅读 · 2月15日
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Arxiv
0+阅读 · 2月9日
Capacity Scaling Laws for Boundary-Induced Drift-Diffusion Noise Channels
Arxiv
0+阅读 · 2月8日
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Arxiv
0+阅读 · 2月13日
Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design
Arxiv
0+阅读 · 2月10日
Learning to Manipulate Anything: Revealing Data Scaling Laws in Bounding-Box Guided Policies
Arxiv
0+阅读 · 2月12日
Center-Fed Pinching Antenna System (C-PASS): Modeling, Analysis, and Beamforming Design
Arxiv
0+阅读 · 2月16日
Towards Robust Scaling Laws for Optimizers
Arxiv
0+阅读 · 2月7日
Deriving Neural Scaling Laws from the statistics of natural language
Arxiv
0+阅读 · 2月7日
Deriving Neural Scaling Laws from the statistics of natural language
Arxiv
0+阅读 · 2月12日
Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation
Arxiv
0+阅读 · 2月7日
参考链接
微信扫码咨询专知VIP会员
Top