Classical Amdahl's Law assumes a fixed decomposition between serial and parallel work and homogeneous replication; historically, it bounds how much parallel speedup is attainable. Modern systems instead combine specialized accelerators with programmable compute, tensor datapaths, and evolving pipelines, while empirical scaling laws shift which stages absorb marginal compute. The central tension is therefore not the serial-versus-parallel split alone, but resource allocation across heterogeneous hardware, given efficiency differences, and workload structures that determine how effectively additional compute can be converted into value. We reformulate Amdahl's Law for modern heterogeneous systems with scalable workloads. The analysis yields a finite collapse threshold: beyond a critical scalable fraction, specialization becomes suboptimal for any efficiency advantage of specialized hardware over programmable compute, and optimal specialized investment falls to zero, a phase transition rather than an asymptotic tail. We use this framework to interpret increasing GPU programmability and why domain-specific AI accelerators have not displaced GPUs.


翻译:经典阿姆达尔定律假设串行与并行工作的固定分解以及同构复制;在历史上,它约束了可实现的并行加速上限。现代系统则结合了专用加速器与可编程计算、张量数据通路以及不断演进的流水线,而经验性的扩展定律不断改变哪些阶段吸收了边际计算资源。因此,核心矛盾不再仅是串行与并行的划分,而是异构硬件间的资源分配问题——需考虑效率差异以及决定额外计算资源能否有效转化为价值的工作负载结构。我们将阿姆达尔定律重新表述为适用于具备可扩展工作负载的现代异构系统。该分析揭示了一个有限崩溃阈值:当可扩展部分比例超过临界值时,无论专用硬件相对于可编程计算具有何种效率优势,专用化均会变得次优,且最优专用化投资降至零——这是一种相变现象,而非渐近拖尾。我们利用这一框架解释GPU可编程性日益增强的现象,以及领域特定AI加速器为何未能取代GPU。

0
下载
关闭预览

相关内容

算法战——人工智能如何重写现代战争规则
专知会员服务
38+阅读 · 2025年4月11日
计算体系架构研究综述与思考
专知会员服务
72+阅读 · 2022年3月21日
【经典书】算法C语言实现,Algorithms in C. 672页pdf
专知会员服务
82+阅读 · 2020年8月13日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
看完这8本算法好书,才算真正懂了 AI
阿里技术
18+阅读 · 2018年8月15日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员