The future of artificial intelligence (AI) acceleration demands a paradigm shift beyond the limitations of purely electronic or photonic architectures. Photonic analog computing delivers unmatched speed and parallelism but struggles with data movement, robustness, and precision, while electronic processing-in-memory (PIM) enables energy-efficient computing by co-locating storage and computation but suffers from endurance and reconfiguration constraints, limiting it to static weight mapping. Neither approach alone achieves the balance needed for adaptive, efficient AI. To break this impasse, we study a hybrid electronic-photonic-PIM computing architecture and introduce H3PIMAP, a heterogeneity-aware mapping framework that seamlessly orchestrates workloads across electronic and optical tiers. By optimizing workload partitioning through a two-stage multi-objective exploration method, H3PIMAP harnesses light speed for high-throughput operations and PIM efficiency for memory-bound tasks. In system-level evaluations, H3PIMAP delivers a 3.32x latency reduction across language and vision models and, on large language models, achieves 77.0% lower latency with 14.6% lower energy at matched quality, outperforming homogeneous and naive mapping strategies. This proposed framework lays the foundation for hybrid AI accelerators, bridging the gap between electronic and photonic computation for next-generation efficiency and scalability.


翻译:人工智能(AI)加速的未来需要超越纯电子或纯光子架构局限性的范式转变。光子模拟计算提供了无与伦比的速度和并行性,但在数据移动、鲁棒性和精度方面面临挑战;而电子存内处理(PIM)通过将存储与计算共置实现了高能效计算,却受限于耐久性和重配置约束,使其仅适用于静态权重映射。单一方法均无法实现自适应、高效AI所需的平衡。为打破这一僵局,我们研究了一种混合电子-光子PIM计算架构,并提出了H3PIMAP——一个异构感知的映射框架,能够在电子和光学层级间无缝编排工作负载。通过采用两阶段多目标探索方法优化工作负载划分,H3PIMAP利用光速实现高吞吐量操作,并借助PIM能效处理内存受限任务。在系统级评估中,H3PIMAP在语言和视觉模型上实现了3.32倍的延迟降低,在大型语言模型上,在保持同等质量的前提下,延迟降低77.0%,能耗降低14.6%,性能优于同构及朴素映射策略。该框架为混合AI加速器奠定了基础,弥合了电子与光子计算之间的鸿沟,为下一代高效可扩展计算铺平了道路。

0
下载
关闭预览

相关内容

6G 无线内生AI架构与技术白皮书(2022)
专知会员服务
39+阅读 · 2022年5月18日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
【长文综述】基于图神经网络的知识图谱研究进展
深度学习自然语言处理
15+阅读 · 2020年8月23日
HAN:基于双层注意力机制的异质图深度神经网络
黑龙江大学自然语言处理实验室
20+阅读 · 2019年5月7日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员