In the emerging paradigm of edge learning, neural networks (NNs) are partitioned across distributed edge devices that collaboratively perform inference via wireless transmission. However, deploying NNs for edge inference over wireless channels inevitably leads to performance degradation, as the exact channel realizations in the inference stage are not known in the training stage. In this paper, we establish a theoretical framework to evaluate and bound this performance degradation. Inspired by statistical learning theory, we define a wireless generalization error to characterize the gap between the empirical performance during training and the expected inference performance under the true stochastic channel. To enable theoretical analysis, we introduce an augmented NN model that incorporates channel statistics directly into the weight space. Leveraging the PAC-Bayesian framework, we derive a high-probability bound on this error, which provides theoretical guarantees for wireless inference performance. Furthermore, we propose a channel-aware training algorithm that minimizes a tractable surrogate objective based on the derived bound. Simulations demonstrate that the proposed algorithm effectively improves wireless inference performance and model robustness under various channel conditions.


翻译:在边缘学习的新兴范式下,神经网络通过分布式边缘设备进行分区部署,这些设备通过无线传输协同执行推理任务。然而,将神经网络部署于无线信道上的边缘推理不可避免地会导致性能退化,这是因为推理阶段确切的信道实现在训练阶段是未知的。本文建立了一个理论框架来评估并限定这种性能退化。受统计学习理论的启发,我们定义了一种无线泛化误差,用以刻画训练过程中的经验性能与真实随机信道下期望推理性能之间的差距。为便于理论分析,我们引入了一种增强型神经网络模型,该模型将信道统计数据直接融入权重空间。借助PAC-贝叶斯框架,我们推导出该误差的一个高概率上界,为无线推理性能提供了理论保证。此外,我们提出了一种信道感知训练算法,该算法基于所推导的上界最小化一个易处理的替代目标函数。仿真结果表明,所提出的算法在各种信道条件下有效提升了无线推理性能及模型鲁棒性。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
21+阅读 · 2025年7月23日
【博士论文】边缘分布式深度神经网络推理
专知会员服务
27+阅读 · 2025年2月26日
《边缘计算通信安全威胁及计算任务分类》
专知会员服务
36+阅读 · 2023年11月13日
基于资源管理视角的无人机边缘计算研究综述
专知会员服务
57+阅读 · 2022年10月19日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
37+阅读 · 2021年7月8日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
124+阅读 · 2020年3月30日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
基于脉冲神经网络的边缘智能
专知会员服务
21+阅读 · 2025年7月23日
【博士论文】边缘分布式深度神经网络推理
专知会员服务
27+阅读 · 2025年2月26日
《边缘计算通信安全威胁及计算任务分类》
专知会员服务
36+阅读 · 2023年11月13日
基于资源管理视角的无人机边缘计算研究综述
专知会员服务
57+阅读 · 2022年10月19日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
37+阅读 · 2021年7月8日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
124+阅读 · 2020年3月30日
相关资讯
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员