Embodied AI requires sub-second inference near the Radio Access Network (RAN), but deployments span heterogeneous tiers (on-device, RAN-edge, cloud) and must not disrupt real-time baseband processing. We report measurements from a 5G Standalone (SA) AI-RAN testbed using a fixed baseline policy for repeatability. The setup includes an on-device tier, a three-node RAN-edge cluster co-hosting a containerized 5G RAN, and a cloud tier. We find that on-device execution remains multi-second and fails to meet sub-second budgets. At the RAN edge, SLA feasibility is primarily determined by model variant choice: quantized models concentrate below 0.5\,s, while unquantized and some larger quantized models incur deadline misses due to stalls and queuing. In the cloud tier, meeting a 0.5\,s deadline is challenging on the measured WAN path (up to 32.9\% of requests complete within 0.5\,s), but all evaluated variants meet a 1.0\,s deadline (100\% within 1.0\,s). Under saturated downlink traffic and up to $N{=}20$ concurrent inference clients, Multi-Instance GPU (MIG) isolation preserves baseband timing-health proxies, supporting safe co-location under fixed partitioning.


翻译:具身人工智能需要在无线接入网附近实现亚秒级推理,但实际部署跨越异构层级(设备端、无线接入网边缘、云端),且不得干扰实时基带处理。我们报告了基于5G独立组网人工智能-无线接入网测试平台的测量结果,采用固定基线策略以确保可复现性。实验设置包含设备端层级、托管容器化5G无线接入网的三节点无线接入网边缘集群以及云端层级。研究发现,设备端执行时间仍长达数秒,无法满足亚秒级时延预算。在无线接入网边缘,服务等级协议可行性主要取决于模型变体选择:量化模型集中分布在0.5秒以下,而未量化模型及部分较大量化模型因停顿和排队导致截止时间违约。在云端层级,在实测广域网路径上满足0.5秒截止时间具有挑战性(最多32.9%的请求在0.5秒内完成),但所有评估变体均满足1.0秒截止时间(100%在1.0秒内完成)。在饱和下行流量和最多$N{=}20$个并发推理客户端条件下,多实例GPU隔离机制能维持基带时序健康代理指标,支持固定分区下的安全共址部署。

0
下载
关闭预览

相关内容

大小模型端云协同进化技术进展
专知会员服务
19+阅读 · 2025年6月20日
国家标准《物联网 群智感知 技术架构》(征求 意见稿)
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
报告 | 5G十大细分应用场景研究报告(附PPT图片)
走向智能论坛
19+阅读 · 2019年4月24日
北大新技术:利用WiFi设备进行人体行为识别!
全球人工智能
12+阅读 · 2018年2月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员