Classical Amdahl's Law assumes a fixed decomposition between serial and parallel work and homogeneous replication; historically, it bounds how much parallel speedup is attainable. Modern systems instead combine specialized accelerators with programmable compute, tensor datapaths, and evolving pipelines, while empirical scaling laws shift which stages absorb marginal compute. The central tension is therefore not the serial-versus-parallel split alone, but resource allocation across heterogeneous hardware, given efficiency differences, and workload structures that determine how effectively additional compute can be converted into value. We reformulate Amdahl's Law for modern heterogeneous systems with scalable workloads. The analysis yields a finite collapse threshold: beyond a critical scalable fraction, specialization becomes suboptimal for any efficiency advantage of specialized hardware over programmable compute, and optimal specialized investment falls to zero, a phase transition rather than an asymptotic tail. We use this framework to interpret increasing GPU programmability and why domain-specific AI accelerators have not displaced GPUs.


翻译:经典阿姆达尔定律假定串行与并行工作负载具有固定分解方式且系统同构复制,历史上该定律限制了可实现的并行加速比上限。现代系统则将专用加速器与可编程计算、张量数据通路及演进式流水线相结合,而经验性扩展定律重新决定了计算资源在不同阶段的边际投入方向。因此,核心矛盾并非仅在于串行/并行划分,而在于异构硬件间的资源分配——需权衡效率差异及决定额外计算能力转化为价值的有效性的工作负载结构。我们针对可扩展工作负载的现代异构系统重构了阿姆达尔定律。分析得出有限崩溃阈值:当可扩展部分超过临界比例时,即使专用硬件相较可编程计算具有任意效率优势,其专业化程度都将趋于次优,最优专用投资额归零——此现象呈现相变特性而非渐进尾部效应。我们运用该框架解读GPU可编程性的持续增强趋势,以及领域专用AI加速器为何未能取代GPU。

0
下载
关闭预览

相关内容

金融业AI大模型智算网络研究报告
专知会员服务
18+阅读 · 2025年6月1日
算法战——人工智能如何重写现代战争规则
专知会员服务
38+阅读 · 2025年4月11日
算力报告:算力供需双向走强,AI催化Infra建设新征程
专知会员服务
38+阅读 · 2024年9月7日
人工智能与数学前沿综述:如何借助 AI 发现数学规律?
【ChatGPT系列报告】AI大语言模型的原理、演进及算力测算
专知会员服务
151+阅读 · 2023年4月26日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
《AI 算法手册》目录 | 机器学习知识点系统性梳理!
数说工作室
23+阅读 · 2019年5月28日
《人工智能转型手册》,吴恩达 著
人工智能学家
21+阅读 · 2018年12月14日
看完这8本算法好书,才算真正懂了 AI
阿里技术
18+阅读 · 2018年8月15日
【智能制造】新一代智能制造:人工智能与智能制造
产业智能官
17+阅读 · 2018年8月11日
算法|学习人工智能算法,你必须掌握的32个算法!
全球人工智能
24+阅读 · 2017年9月17日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
《AI 算法手册》目录 | 机器学习知识点系统性梳理!
数说工作室
23+阅读 · 2019年5月28日
《人工智能转型手册》,吴恩达 著
人工智能学家
21+阅读 · 2018年12月14日
看完这8本算法好书,才算真正懂了 AI
阿里技术
18+阅读 · 2018年8月15日
【智能制造】新一代智能制造:人工智能与智能制造
产业智能官
17+阅读 · 2018年8月11日
算法|学习人工智能算法,你必须掌握的32个算法!
全球人工智能
24+阅读 · 2017年9月17日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员