Level-4+ autonomous driving systems (ADS) must run dozens of heterogeneous deep neural networks (DNNs) as end-to-end (E2E) pipelines under a strict latency constraint (<=100 ms), even as execution time varies by up to 3.3x. Cost rules out dedicating isolated hardware to each function in mass-produced ADS, so these DNNs must be densely colocated on a single chip, which introduces shared-resource contention. Tile-based accelerators expose two scheduling opportunities that conventional ADS schedulers do not exploit. First, they provide a tunable degree of parallelism (DoP): assigning more tiles raises DoP and can shorten DNN execution time. Second, they provide hardware-native isolation: tiles can be physically partitioned among co-located DNNs. But using this flexibility is expensive: changing a task's DoP triggers a stop-migrate-restart reallocation of its weights and intermediate features. At ADS task rates of 10-240 Hz, these stalls accumulate along E2E chains and threaten deadlines. Reservation-based schedulers fix DoP and leave this flexibility unused; work-conserving schedulers exploit it but assume reallocation is cheap and treat deadlines as independent. We present ADS-Tile that combines configurable isolation and elastic reservation into a spatio-temporal isolation-sharing space that bounds where and when reallocation occurs; a probabilistic latency model and a DAG-aware runtime scheduler then use this space to decide task colocation and DoP under shared E2E deadlines. On an industry- and academia- derived ADS benchmark, ADS-Tile uses up to 32% fewer tiles than the work-conserving baseline in deadline-critical settings and cuts reallocation-induced wasted processing capacity from 17%-44% to below 1.2%. Controlled spatio-temporal sharing improves resource efficiency and latency predictability for tile-based ADS.


翻译:L4级及以上自动驾驶系统必须运行数十个异构深度神经网络,这些网络以端到端流水线的形式在严格延迟约束(≤100毫秒)下执行,即使执行时间波动可达3.3倍。成本因素制约了量产自动驾驶系统为每个功能配备专用隔离硬件,因此这些DNN必须密集部署于单芯片上,从而引发共享资源竞争。基于Tile的加速器提供了两种传统自动驾驶调度器未能利用的调度机会:其一,可调节并行度——分配更多Tile能提升并行度并缩短DNN执行时间;其二,提供硬件原生隔离——Tile可在共置的DNN间进行物理分区。但利用这种灵活性代价高昂:改变任务的并行度会触发其权重与中间特征的“停止-迁移-重启”重新分配过程。在10-240Hz的任务执行频率下,这些延迟沿端到端链路累积,威胁到截止时间约束。基于预留的调度器固定并行度而放弃灵活性;工作守恒调度器虽利用该灵活性,却假设重新分配成本低廉且将截止时间视为独立约束。我们提出ADS-Tile框架,将可配置隔离与弹性预留相结合,构建出限定重新分配时空范围的时空隔离共享空间;基于该空间,概率延迟模型与DAG感知运行时调度器在共同的端到端截止时间下决策任务共置方案与并行度。在工业界与学术界联合制定的自动驾驶基准测试中,ADS-Tile在截止时间关键场景下比工作守恒基线节省最高32%的Tile资源,并将重新分配引发的处理能力浪费从17%-44%降至1.2%以下。受控的时空共享机制有效提升了基于Tile的自动驾驶系统的资源效率与延迟可预测性。

0
下载
关闭预览

相关内容

端到端自动驾驶系统研究综述
专知会员服务
31+阅读 · 2024年11月29日
《嵌入式计算系统的高效深度学习基础设施》综述
专知会员服务
36+阅读 · 2024年11月5日
自动驾驶芯片研究框架,87页ppt
专知会员服务
37+阅读 · 2023年1月17日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
专知会员服务
39+阅读 · 2021年9月7日
深度学习框架大PK:TNN决战MNN,ncnn依旧经典
新智元
10+阅读 · 2020年7月3日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
自动驾驶最新综述论文(31页PDF下载)
专知
120+阅读 · 2019年1月15日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 26分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 28分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
2+阅读 · 40分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
深度学习框架大PK:TNN决战MNN,ncnn依旧经典
新智元
10+阅读 · 2020年7月3日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
自动驾驶最新综述论文(31页PDF下载)
专知
120+阅读 · 2019年1月15日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员