In the emerging paradigm of edge inference, neural networks (NNs) are partitioned across distributed edge devices that collaboratively perform inference via wireless transmission. However, standard NNs are generally trained in a noiseless environment, creating a mismatch with the noisy channels during edge deployment. In this paper, we address this issue by characterizing the channel-induced performance deterioration as a generalization error against unseen channels. We introduce an augmented NN model that incorporates channel statistics directly into the weight space, allowing us to derive PAC-Bayesian generalization bounds that explicitly quantifies the impact of wireless distortion. We further provide closed-form expressions for practical channels to demonstrate the tractability of these bounds. Inspired by the theoretical results, we propose a channel-aware training algorithm that minimizes a surrogate objective based on the derived bound. Simulations show that the proposed algorithm can effectively improve inference accuracy by leveraging channel statistics, without end-to-end re-training.


翻译:在边缘推理这一新兴范式中,神经网络(NNs)被分割部署于分布式边缘设备上,通过无线传输协作完成推理任务。然而,标准神经网络通常在无噪声环境中训练,这与边缘部署时的噪声信道环境存在失配。本文通过将信道诱导的性能退化刻画为针对未知信道的泛化误差,以解决该问题。我们提出了一种增强型神经网络模型,该模型将信道统计特性直接纳入权重空间,从而能够推导出PAC-Bayesian泛化界,明确量化无线失真造成的影响。我们进一步针对实际信道给出了闭式表达式,以证明这些界限的可处理性。受理论结果启发,我们提出了一种信道感知训练算法,该算法基于推导出的界限最小化代理目标函数。仿真结果表明,所提算法能够有效利用信道统计特性提升推理精度,且无需进行端到端的重新训练。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
【博士论文】边缘分布式深度神经网络推理
专知会员服务
27+阅读 · 2025年2月26日
《边缘计算通信安全威胁及计算任务分类》
专知会员服务
35+阅读 · 2023年11月13日
【伯克利博士论文】硬件感知的高效深度学习,154页pdf
专知会员服务
74+阅读 · 2022年10月20日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
123+阅读 · 2020年3月30日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关资讯
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员