Scaling laws describe how language model capabilities grow with compute and data, but say nothing about how long a model matters once released. We introduce time-to-peak and lifespan as measures of model obsolescence and use them to characterize the scientific adoption trajectories of 62 LLMs across more than 108k citing papers (2019-2025), separating active adoption from background citation to recover per-model trajectories that citation counts cannot resolve. We find that a model's longevity is shaped more by when it was released than by its characteristics: release year predicts time-to-peak and lifespan more strongly than architecture, openness, or scale. LLM adoption follows an inverted-U curve (rising after release, peaking, and then declining), but this pattern is rapidly compressing. Each successive release year is associated with a 27% shorter time-to-peak and a 23% shorter lifespan ($p < 0.001$), robust to minimum-age thresholds and controls for model size. These adoption-side dynamics are invisible to scaling laws and suggest that specialization on any single model may be a depreciating investment, with costs falling on reproducibility and migration.


翻译:标度定律描述了语言模型能力如何随计算量和数据规模增长,但未揭示模型发布后能持续发挥作用的时间。我们引入"达到峰值时间"和"生命周期"作为模型过时程度的度量指标,利用它们刻画了62个LLM在超过10.8万篇引用论文(2019-2025年)中的科学采纳轨迹。通过将主动采纳与背景引用分离,我们恢复了引用数量无法分辨的每个模型的采纳轨迹。研究发现,模型寿命受其发布时间的塑造程度大于模型自身特征:发布年份对峰值时间和生命周期的预测能力强于架构、开放性或规模。LLM的采纳呈倒U型曲线(发布后上升、达到顶峰、随后下降),但这一模式正在迅速压缩。每连续一个发布年份,峰值时间缩短27%,生命周期缩短23%(p < 0.001),这一结论在设定不同最小年龄阈值和控制模型规模后依然稳健。这些采纳侧动态对标度定律而言不可见,并表明对任何单一模型的专业化投资可能正在贬值,其代价落在可重复性和迁移性上。

0
下载
关闭预览

相关内容

Andrej Karpathy:2025 年 LLM 年度回顾(2025 LLM Year in Review)
专知会员服务
34+阅读 · 2025年12月20日
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
《LLM 时代小模型的作用》综述
专知会员服务
49+阅读 · 2024年9月12日
10个项目给你答案,19年NLP为什么这么骚
PaperWeekly
34+阅读 · 2018年12月29日
如果你没时间读书,就关注这几个号
Call4Papers
13+阅读 · 2017年12月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月2日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员