In the emerging paradigm of edge learning, neural networks (NNs) are partitioned across distributed edge devices that collaboratively perform inference via wireless transmission. However, deploying NNs for edge inference over wireless channels inevitably leads to performance degradation, as the exact channel realizations in the inference stage are not known in the training stage. In this paper, we establish a theoretical framework to evaluate and bound this performance degradation. Inspired by statistical learning theory, we define a wireless generalization error to characterize the gap between the empirical performance during training and the expected inference performance under the true stochastic channel. To enable theoretical analysis, we introduce an augmented NN model that incorporates channel statistics directly into the weight space. Leveraging the PAC-Bayesian framework, we derive a high-probability bound on this error, which provides theoretical guarantees for wireless inference performance. Furthermore, we propose a channel-aware training algorithm that minimizes a tractable surrogate objective based on the derived bound. Simulations demonstrate that the proposed algorithm effectively improves wireless inference performance and model robustness under various channel conditions.


翻译:在边缘学习的新兴范式中,神经网络通过无线传输在分布式边缘设备间进行协作推理。然而,在无线信道上部署神经网络进行边缘推理不可避免地会导致性能下降,因为推理阶段的确切信道实现在训练阶段是未知的。本文建立了一个理论框架来评估和限定这种性能下降。受统计学习理论的启发,我们定义了无线泛化误差,用以表征训练时的经验性能与真实随机信道下预期推理性能之间的差异。为便于理论分析,我们引入了一种增强型神经网络模型,将信道统计信息直接融入权重空间。利用PAC-Bayesian框架,我们推导出该误差的高概率上界,为无线推理性能提供了理论保障。此外,我们提出了一种信道感知训练算法,该算法最小化基于推导边界的易处理替代目标。仿真结果表明,所提算法能有效提升不同信道条件下的无线推理性能与模型鲁棒性。

0
下载
关闭预览

相关内容

军事战术边缘计算的重要性
专知会员服务
19+阅读 · 2025年10月14日
基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
【博士论文】边缘分布式深度神经网络推理
专知会员服务
27+阅读 · 2025年2月26日
《边缘计算通信安全威胁及计算任务分类》
专知会员服务
35+阅读 · 2023年11月13日
基于资源管理视角的无人机边缘计算研究综述
专知会员服务
57+阅读 · 2022年10月19日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
124+阅读 · 2020年3月30日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 4月21日
VIP会员
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关资讯
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
边缘智能发展与演进白皮书
物联网智库
13+阅读 · 2019年6月17日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员