Emergency communications networks require in-network intelligence for timely traffic handling under dynamic demands and runtime constraints. In these environments, packets may need different inference behaviors, and conventional model replacement via control-plane updates is too slow for responsive operation. We propose an in-network artificial computing framework with lightweight model-switching, where multiple Binary Neural Network (BNN) models are kept resident within a shared execution framework. Packet metadata selects the active model at packet granularity with O(1) selection cost. A fixed 1024-byte payload is aligned with x86 AVX-512, enabling efficient memory access. The framework is realized on an eBPF/XDP + AF_XDP stack. Experimental results show that the system sustains 1.894 Mpps with a 0.528 us inference latency, while model selection adds only 0.005 us. Our results demonstrate that different resident models induce distinct packet-processing behaviors, that scaling to 16 slots preserves low switching overhead, and that online model switching completes without wrong-verdict packets. These results show the practicality of lightweight in-network artificial computing on commodity hardware.


翻译:应急通信网络需要网络内智能能力,以在动态需求与运行时约束下实现及时的流量处理。在此类环境中,数据包可能要求不同的推理行为,而通过控制平面更新实现的传统模型替换方案因响应速度过慢而无法胜任。我们提出了一种具备轻量级模型切换能力的网络内人工智能计算框架,该框架将多个二值神经网络(BNN)模型共置于同一执行框架内。数据包元数据以O(1)的选择开销在数据包粒度上激活目标模型。固定1024字节的载荷与x86 AVX-512指令集对齐,可实现高效的内存访问。该框架基于eBPF/XDP + AF_XDP协议栈实现。实验结果表明:系统在0.528微秒推理延迟下可维持1.894 Mpps的吞吐量,而模型选择仅增加0.005微秒的额外开销。实验结果验证了不同驻留模型会引发差异化的数据包处理行为,将插槽扩展至16个时仍能保持低切换开销,且在线模型切换过程不会产生错误判决数据包。上述结果证明了在商用硬件上实现轻量级网络内人工智能计算的可行性。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
在通信中断环境下人工智能维持相关态势感知
专知会员服务
16+阅读 · 7月2日
《人工智能赋能网络与信息作战融合》完整中文版
专知会员服务
61+阅读 · 2025年3月2日
人工智能时代下的复杂网络
专知会员服务
54+阅读 · 2024年8月6日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
超全总结:神经网络加速之量化模型 | 附带代码
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
8+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
7+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员