\emph{Integrated communication and computation} (IC$^2$) has emerged as a new paradigm for enabling efficient edge inference in sixth-generation (6G) networks. However, the design of IC$^2$ technologies is hindered by the lack of a tractable theoretical framework for characterizing \emph{end-to-end} (E2E) inference performance. The metric is highly complicated as it needs to account for both channel distortion and artificial intelligence (AI) model architecture and computational complexity. In this work, we address this challenge by developing a tractable analytical model for E2E inference accuracy and leveraging it to design a \emph{channel-adaptive AI} algorithm that maximizes inference throughput, referred to as the edge processing rate (EPR), under latency and accuracy constraints. Specifically, we consider an edge inference system in which a server deploys a backbone model with early exit, which enables flexible computational complexity, to perform inference on data features transmitted by a mobile device. The proposed accuracy model characterizes high-dimensional feature distributions in the angular domain using a Mixture of von Mises (MvM) distribution. This leads to a desired closed-form expression for inference accuracy as a function of quantization bit-width and model traversal depth, which represents channel distortion and computational complexity, respectively. Building upon this accuracy model, we formulate and solve the EPR maximization problem under joint latency and accuracy constraints, leading to a channel-adaptive AI algorithm that achieves full IC$^2$ integration. The proposed algorithm jointly adapts transmit-side feature compression and receive-side model complexity according to channel conditions to maximize overall efficiency and inference throughput. Experimental results demonstrate its superior performance as compared with fixed-complexity counterparts.


翻译:集成通信与计算(IC²)已成为第六代(6G)网络中实现高效边缘推理的新范式。然而,IC²技术的设计因缺乏一个易于处理的、用于表征端到端(E2E)推理性能的理论框架而受阻。该度量标准高度复杂,因为它需要同时考虑信道失真以及人工智能(AI)模型架构与计算复杂度。在本工作中,我们通过建立一个易于处理的E2E推理精度分析模型,并利用该模型设计一种在延迟和精度约束下最大化推理吞吐量(称为边缘处理速率,EPR)的信道自适应AI算法,来应对这一挑战。具体而言,我们考虑一个边缘推理系统,其中服务器部署一个带有提前退出机制(这允许灵活的计算复杂度)的主干模型,对移动设备传输的数据特征执行推理。所提出的精度模型使用冯·米塞斯混合分布来表征角域中的高维特征分布。这导出了一个期望的、关于量化比特宽度(代表信道失真)和模型遍历深度(代表计算复杂度)的推理精度闭式表达式。基于此精度模型,我们在联合延迟与精度约束下形式化并求解了EPR最大化问题,从而产生了一种实现完全IC²集成的信道自适应AI算法。所提出的算法根据信道条件,联合自适应地调整发送端的特征压缩和接收端的模型复杂度,以最大化整体效率和推理吞吐量。实验结果表明,与固定复杂度的方案相比,该算法具有优越的性能。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
国防领域边缘计算:将智能推向行动前沿
专知会员服务
27+阅读 · 2025年4月6日
边缘AI行业深度:边缘AI硬件,引领硬件创新时代
专知会员服务
51+阅读 · 2024年4月18日
边缘智能研究进展
专知会员服务
80+阅读 · 2023年11月6日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
123+阅读 · 2020年3月30日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员