Action recognition on edge devices poses stringent constraints on latency, memory, storage, and power consumption. While auxiliary modalities such as skeleton and depth information can enhance recognition performance, they often require additional sensors or computationally expensive pose-estimation pipelines, limiting practicality for edge use. In this work, we propose a compact RGB-only network tailored for efficient on-device inference. Our approach builds upon an X3D-style backbone augmented with Temporal Shift, and further introduces selective temporal adaptation and parameter-free attention. Extensive experiments on the NTU RGB+D 60 and 120 benchmarks demonstrate a strong accuracy-efficiency balance. Moreover, deployment-level profiling on the Jetson Orin Nano verifies a smaller on-device footprint and practical resource utilization compared to existing RGB-based action recognition techniques.


翻译:在边缘设备上进行动作识别对延迟、内存、存储和功耗提出了严格限制。虽然辅助模态(如骨架和深度信息)可以提升识别性能,但它们通常需要额外的传感器或计算成本高昂的姿态估计流程,这限制了其在边缘应用中的实用性。在本工作中,我们提出了一种专为高效设备端推理设计的紧凑型纯RGB网络。我们的方法基于一个融合了Temporal Shift的X3D风格骨干网络,并进一步引入了选择性时序适应和无参数注意力机制。在NTU RGB+D 60和120基准测试上的大量实验表明,该方法在准确性与效率之间取得了良好平衡。此外,在Jetson Orin Nano上的部署级性能分析验证了,与现有的基于RGB的动作识别技术相比,该方法具有更小的设备端占用空间和更实用的资源利用率。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
《面向边缘AI应用的高性能高能效架构探索》156页
专知会员服务
34+阅读 · 2025年4月12日
基于资源管理视角的无人机边缘计算研究综述
专知会员服务
57+阅读 · 2022年10月19日
【伯克利Alvin Wan博士论文】高效设计深度神经网络
专知会员服务
61+阅读 · 2022年5月21日
边缘机器学习,21页ppt
专知会员服务
84+阅读 · 2021年6月21日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
123+阅读 · 2020年3月30日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
基于TensorFlow和Keras的图像识别
Python程序员
16+阅读 · 2019年6月24日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
一文看懂如何将深度学习应用于视频动作识别
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
实战|手把手教你实现图象边缘检测!
全球人工智能
10+阅读 · 2018年1月19日
【源码】Python的开源人脸识别库:离线识别率高达99.38%
全球人工智能
11+阅读 · 2017年10月29日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
基于TensorFlow和Keras的图像识别
Python程序员
16+阅读 · 2019年6月24日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
一文看懂如何将深度学习应用于视频动作识别
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
实战|手把手教你实现图象边缘检测!
全球人工智能
10+阅读 · 2018年1月19日
【源码】Python的开源人脸识别库:离线识别率高达99.38%
全球人工智能
11+阅读 · 2017年10月29日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员