Classical Amdahl's Law conceptualized the limit of speedup for an era of fixed serial-parallel decomposition and homogeneous replication. Modern heterogeneous systems need a different conceptual framework: constrained resources must be allocated across heterogeneous hardware while workloads themselves change, with some stages becoming effectively bounded and others continuing to absorb additional effective compute. This paper reformulates Amdahl's Law around that shift. We replace processor count with an allocation variable, replace the classical parallel fraction with a value-scalable fraction, and model specialization by a relative efficiency ratio between dedicated and programmable compute. The resulting objective yields a finite collapse threshold. For a specialized efficiency ratio R, there is a critical scalable fraction S_c = 1 - 1/R beyond which the optimal allocation to specialization becomes zero. Equivalently, for a given scalable fraction S, the minimum efficiency ratio required to justify specialization is R_c = 1/(1-S). Thus, as value-scalable workload grows, over-customization faces a rising bar. The point is not that one hardware class simply defeats another, but that architecture must preserve a sufficiently programmable substrate against a moving frontier of work whose marginal gains keep scaling. In practice, that frontier is often sustained by software- and model-driven efficiency doublings rather than by fixed-function redesign alone. The model helps explain the migration of value-producing work toward learned late-stage computation and the shared design pressure that is making both GPUs and AI accelerators more programmable2


翻译:经典Amdahl定律概念化了固定串行-并行分解与同构复制时代的加速极限。现代异构系统需要不同的概念框架:必须将受限资源分配给异构硬件,同时工作负载本身也在变化——某些阶段变得有效受限,而其他阶段则持续吸收额外的有效计算资源。本文围绕这一转变重新构建了Amdahl定律。我们用分配变量取代处理器数量,用价值可缩放分数取代经典并行分数,并通过专用计算与可编程计算之间的相对效率比来建模专业化特性。由此得到的目标函数产生了一个有限崩溃阈值。对于专用效率比R,存在临界可缩放分数S_c = 1 - 1/R,超过该值时专业化最优分配为零。等价地,对于给定可缩放分数S,证明专业化合理所需的最小效率比为R_c = 1/(1-S)。这表明,随着价值可缩放工作负载增长,过度定制面临着日益提高的准入门槛。关键之处不在于某类硬件简单地击败另一类,而在于架构必须针对不断移动的工作前沿保留足够可编程的计算基底,其边际收益仍在持续扩展。实践中,这一前沿通常由软件和模型驱动的效率加倍所维持,而非单纯依赖固定功能重新设计。该模型有助于解释高价值工作向学习型后期计算迁移的现象,以及GPU和AI加速器均在提升可编程性的共同设计压力。

0
下载
关闭预览

相关内容

面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
看完这8本算法好书,才算真正懂了 AI
阿里技术
18+阅读 · 2018年8月15日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月20日
VIP会员
最新内容
AutoScientists:自组织智能体团队驱动长期科学实验
战略前沿人工智能的再思考(中文)
专知会员服务
3+阅读 · 今天14:53
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
3+阅读 · 今天14:51
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
2+阅读 · 今天14:38
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
13+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员