Real-time systems, particularly those used in domains like automated driving, are increasingly adopting neural networks. From this trend arises the need for high-performance hardware exhibiting predictable timing behavior. While state-of-the-art real-time hardware often suffers from limited memory and compute resources, modern AI accelerators typically lack the crucial predictability due to memory interference. We present a new hardware architecture to bridge this gap between performance and predictability. The architecture features a multi-core vector processor with predictable cores, each equipped with local scratchpad memories. A central management core orchestrates access to shared external memory following a statically determined schedule. To evaluate the proposed hardware architecture, we analyze different variants of our parameterized design. We compare these variants to a baseline architecture consisting of a single-core vector processor with large vector registers. We find that configurations with a larger number of smaller cores achieve better performance due to increased effective memory bandwidth and higher clock frequencies. Crucially for real-time systems, execution time fluctuation remains very low, demonstrating the platform's time predictability.


翻译:实时系统,特别是自动驾驶等领域的实时系统,正越来越多地采用神经网络。这一趋势催生了对具有可预测时序行为的高性能硬件的需求。虽然最先进的实时硬件通常受限于有限的内存和计算资源,但现代AI加速器由于内存干扰通常缺乏关键的可预测性。我们提出了一种新的硬件架构来弥合性能与可预测性之间的差距。该架构采用具有可预测核心的多核向量处理器,每个核心配备本地暂存存储器。一个中央管理核心按照静态确定的调度方案协调对共享外部存储器的访问。为了评估所提出的硬件架构,我们分析了参数化设计的不同变体。我们将这些变体与由具有大型向量寄存器的单核向量处理器组成的基线架构进行了比较。我们发现,由于有效内存带宽增加和时钟频率更高,采用更多数量较小核心的配置能实现更好的性能。对于实时系统至关重要的是,执行时间波动保持在极低水平,这证明了该平台的时间可预测性。

0
下载
关闭预览

相关内容

《多视角环境中基于集合神经网络的目标识别》97页
专知会员服务
21+阅读 · 2024年8月7日
面向多GPU的图神经网络训练加速
专知会员服务
24+阅读 · 2023年1月19日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
轻量化神经网络卷积设计研究进展
专知会员服务
58+阅读 · 2021年10月24日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
HAN:基于双层注意力机制的异质图深度神经网络
黑龙江大学自然语言处理实验室
20+阅读 · 2019年5月7日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月2日
VIP会员
最新内容
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
3+阅读 · 今天8:10
《军用自主人工智能系统的治理与安全》
专知会员服务
3+阅读 · 今天8:02
《系统簇式多域作战规划范畴论框架》
专知会员服务
7+阅读 · 4月20日
高效视频扩散模型:进展与挑战
专知会员服务
3+阅读 · 4月20日
乌克兰前线的五项创新
专知会员服务
7+阅读 · 4月20日
 军事通信系统与设备的技术演进综述
专知会员服务
6+阅读 · 4月20日
《北约标准:医疗评估手册》174页
专知会员服务
5+阅读 · 4月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员