SmartNIC Data Processing Units (DPUs) offer a promising solution for saving high-end CPU resources by offloading tasks to programmable cores near the network interface. In this work, we explore the feasibility of SmartNIC DPUs in supporting an asynchronous communication model called "fire-and-forget", particularly its core message routing service. We design a communication offloading engine called Buddy that decouples communication tasks from the application process. Buddy runs flexibly on SmartNIC DPUs such as the Nvidia BlueField-3 DPU and generic x86 CPUs. Our evaluation results in five applications identify the memory-to-communication ratio as a key predictor of the offloading performance. Host-dominated workloads, such as Quicksilver and Sparse Matrix Transpose, achieved up to 1.55x speedup with communication offloaded to the DPU. We further identify a 625x increase in DRAM traffic due to the absence of Direct Cache Access support on the DPU, highlighting a critical need in future SmartNIC designs.


翻译:智能网卡数据处理单元(SmartNIC DPU)通过将任务卸载至网络接口附近的可编程核心,为节省高端CPU资源提供了一种前景广阔的解决方案。本研究探索SmartNIC DPU支持名为"fire-and-forget"的异步通信模型(尤其是其核心消息路由服务)的可行性。我们设计了一款名为Buddy的通信卸载引擎,该引擎可将通信任务与应用进程解耦。Buddy可灵活运行于Nvidia BlueField-3 DPU等SmartNIC DPU及通用x86 CPU上。针对五个应用程序的评估结果表明,内存与通信的比值是卸载性能的关键预测指标。在Quicksilver和稀疏矩阵转置等主机密集型负载中,将通信卸载至DPU实现了最高1.55倍的加速。我们进一步发现,因DPU缺乏直接缓存访问支持,DRAM流量增加了625倍,这凸显了未来SmartNIC设计中的关键需求。

0
下载
关闭预览

相关内容

卸载从硬盘删除程序文件和文件夹以及从注册表删除相关数据的操作
《移动云中安全可信的任务卸载》论文
专知会员服务
18+阅读 · 2023年3月25日
DPU发展分析报告(2022年),44页pdf
专知会员服务
26+阅读 · 2023年1月13日
未来网络白皮书——SmartNIC/DPU技术白皮书
专知会员服务
83+阅读 · 2022年8月31日
专知会员服务
37+阅读 · 2021年7月8日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
5+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
13+阅读 · 7月16日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员