Long-range Human-Robot Interaction (HRI) remains underexplored. Within it, Command Source Identification (CSI) - determining who issued a command - is especially challenging due to multi-user and distance-induced sensor ambiguity. We introduce HiSync, an optical-inertial fusion framework that treats hand motion as binding cues by aligning robot-mounted camera optical flow with hand-worn IMU signals. We first elicit a user-defined (N=12) gesture set and collect a multimodal command gesture dataset (N=38) in long-range multi-user HRI scenarios. Next, HiSync extracts frequency-domain hand motion features from both camera and IMU data, and a learned CSINet denoises IMU readings, temporally aligns modalities, and performs distance-aware multi-window fusion to compute cross-modal similarity of subtle, natural gestures, enabling robust CSI. In three-person scenes up to 34m, HiSync achieves 92.32% CSI accuracy, outperforming the prior SOTA by 48.44%. HiSync is also validated on real-robot deployment. By making CSI reliable and natural, HiSync provides a practical primitive and design guidance for public-space HRI.


翻译:远距离人机交互(HRI)领域的研究仍不充分。其中,指令源识别(CSI)——即确定指令发出者——由于多用户参与及距离导致的传感器模糊性而尤为困难。本文提出HiSync,一种光惯融合框架,通过将机器人搭载摄像头的光流与手部佩戴的惯性测量单元(IMU)信号进行对齐,将手部运动作为绑定线索。我们首先征集了一套用户自定义(N=12)手势集,并在远距离多用户HRI场景中收集了一个多模态指令手势数据集(N=38)。随后,HiSync从摄像头和IMU数据中提取频域手部运动特征,并通过学习的CSINet对IMU读数进行去噪、对多模态数据进行时间对齐,并执行距离感知的多窗口融合,以计算细微自然手势的跨模态相似度,从而实现鲁棒的CSI。在距离达34米的三用户场景中,HiSync实现了92.32%的CSI准确率,较先前最优方法提升48.44%。HiSync在真实机器人部署中也得到了验证。通过使CSI可靠且自然,HiSync为公共空间HRI提供了实用的基础组件与设计指导。

0
下载
关闭预览

相关内容

利用人工智能提升战术级目标定位能力
专知会员服务
33+阅读 · 2024年12月4日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
北大新技术:利用WiFi设备进行人体行为识别!
全球人工智能
12+阅读 · 2018年2月7日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员