Accurate hand gesture prediction is crucial for effective upper-limb prosthetic limbs control. As the high flexibility and multiple degrees of freedom exhibited by human hands, there has been a growing interest in integrating deep networks with high-density surface electromyography (HD-sEMG) grids to enhance gesture recognition capabilities. However, many existing methods fall short in fully exploit the specific spatial topology and temporal dependencies present in HD-sEMG data. Additionally, these studies are often limited number of gestures and lack generality. Hence, this study introduces a novel gesture recognition method, named STGCN-GR, which leverages spatio-temporal graph convolution networks for HD-sEMG-based human-machine interfaces. Firstly, we construct muscle networks based on functional connectivity between channels, creating a graph representation of HD-sEMG recordings. Subsequently, a temporal convolution module is applied to capture the temporal dependences in the HD-sEMG series and a spatial graph convolution module is employed to effectively learn the intrinsic spatial topology information among distinct HD-sEMG channels. We evaluate our proposed model on a public HD-sEMG dataset comprising a substantial number of gestures (i.e., 65). Our results demonstrate the remarkable capability of the STGCN-GR method, achieving an impressive accuracy of 91.07% in predicting gestures, which surpasses state-of-the-art deep learning methods applied to the same dataset.


翻译:准确的手势预测对于有效的上肢假肢控制至关重要。由于人手具有高灵活性和多自由度,将深度学习网络与高密度表面肌电(HD-sEMG)网格相结合以增强手势识别能力的研究日益受到关注。然而,现有方法往往未能充分利用HD-sEMG数据中的特定空间拓扑结构和时间依赖性。此外,这些研究通常局限于有限数量的手势,缺乏通用性。因此,本研究提出一种名为STGCN-GR的新型手势识别方法,该方法利用时空图卷积网络构建基于HD-sEMG的人机接口。首先,我们基于通道间的功能连接构建肌肉网络,形成HD-sEMG记录的图表示。随后,应用时间卷积模块捕捉HD-sEMG序列中的时间依赖性,并采用空间图卷积模块有效学习不同HD-sEMG通道间的内在空间拓扑信息。我们在包含大量手势(即65种)的公开HD-sEMG数据集上评估了所提模型。结果表明,STGCN-GR方法展现出卓越性能,在手势预测中达到91.07%的惊人准确率,超越了应用于同一数据集的最先进深度学习方法。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
西电TKDE 2021 | 可解释高效的异质图卷积神经网络
专知会员服务
27+阅读 · 2021年11月14日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
西电TKDE 2021 | 可解释高效的异质图卷积神经网络
专知会员服务
27+阅读 · 2021年11月14日
相关资讯
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员