Touch-rich human-robot interaction (HRI) is difficult to study: building and programming physical robots is costly and slow, while VR-based robot prototypes often remove physical contact or break the tight coupling between an agent's body and the user's felt touch. We present VR2VR, a co-located dual VR-headset platform for HRI research in which a participant and a hidden operator share the same physical space while experiencing different virtual embodiments. The participant sees an expressive virtual robot that interacts face-to-face in a shared virtual environment. In real time, the robot's upper-body gestures, head and gaze behaviors, and facial expressions are mapped from the operator's tracked motion and face signals. Because the operator is physically co-present and calibrated into the same coordinate frame, the operator can also physically touch the participant, enabling the participant to perceive robot touch aligned with the robot's hands; finger and hand motion are mapped to the robot using inverse kinematics to support precise contact. Beyond faithful motion retargeting for limb teleoperation, our VR2VR system supports experimental control by retargeting or selectively enabling nonverbal channels (e.g., head only vs. head+eyes vs. head+eyes+facial expressions) while keeping physical interaction constant. We detail the system design, calibration workflow, and safety considerations, and demonstrate the platform through a touch-based Wizard-of-Oz HRI study, illustrating how VR2VR lowers barriers for rapidly prototyping and rigorously evaluating embodied, touch-centric robot behaviors.


翻译:触觉丰富的人机交互研究面临诸多挑战:物理机器人的构建与编程成本高昂且耗时,而基于虚拟现实的机器人原型往往无法实现物理接触,或破坏了智能体身体与用户触觉感知之间的紧密耦合。本文提出VR2VR,一种用于人机交互研究的共位双虚拟现实头显平台。在该平台中,参与者与隐藏的操作员共享同一物理空间,同时体验不同的虚拟化身。参与者面对的是一个具有丰富表现力的虚拟机器人,双方在共享虚拟环境中进行面对面交互。机器人的上半身姿态、头部与视线行为以及面部表情均实时映射自操作员被追踪的运动与面部信号。由于操作员实际共处同一空间且已校准至同一坐标系,其可直接对参与者进行物理触碰,使参与者能感知到与机器人手部动作同步的触觉反馈;通过逆运动学将手指与手部运动映射至机器人,可实现精准的接触交互。除实现肢体遥操作的精确运动重定向外,VR2VR系统还支持通过重定向或选择性启用非语言通道(例如仅头部动作 vs 头部+视线 vs 头部+视线+面部表情)进行实验控制,同时保持物理交互的一致性。本文详细阐述了系统设计、校准流程与安全考量,并通过一项基于触觉的“绿野仙踪”式人机交互研究展示了该平台的应用,说明VR2VR如何降低具身化、以触觉为核心的机器人行为快速原型构建与严谨评估的门槛。

0
下载
关闭预览

相关内容

人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
虚拟数字人应用技术与发展路径
专知会员服务
101+阅读 · 2021年11月3日
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
无人驾驶开源仿真平台整理
智能交通技术
27+阅读 · 2019年5月9日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
虚拟数字人应用技术与发展路径
专知会员服务
101+阅读 · 2021年11月3日
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员