This paper presents a comprehensive study of virtual 3D object manipulation along 4DoF on real surfaces in mixed reality (MR), using hand-based and tangible interactions. A custom cylindrical tangible proxy leverages affordances of physical knobs and tabletop support for stable input. We evaluate both modalities across isolated tasks (2DoF translation, 1DoF rotation scaling), semicombined (3DoF translation rotation), and full 4DoF compound manipulation. We offer analyses of hand interactions, tangible interactions, and their comparison in MR tasks. For hand interactions, compound tasks required repetitive corrections, increasing completion times yet surprisingly, rotation errors were smaller in compound tasks than in rotation only tasks. Tangible interactions exhibited significantly larger errors in translation, rotation, and scaling during compound tasks compared to isolated tasks. Crucially, tangible interactions outperformed hand interactions in precision, likely due to tabletop support and constrained 4DoF design. These findings inform designers opting for hand-only interaction (highlighting tradeoffs in compound tasks) and those leveraging tangibles (emphasizing precision gains despite compound-task challenges).


翻译:本文针对混合现实(MR)环境中在真实表面上进行4自由度虚拟三维物体操控,对手部交互与实体交互进行了全面研究。采用一种定制的圆柱形实体代理,利用物理旋钮的启示性和桌面支撑实现稳定输入。我们评估了两种交互方式在独立任务(2自由度平移、1自由度旋转缩放)、半组合任务(3自由度平移旋转)以及完整4自由度复合操控中的表现。研究提供了手部交互、实体交互及其在MR任务中对比的分析。对于手部交互,复合任务需要重复校正,导致完成时间增加,但出乎意料的是,复合任务中的旋转误差小于纯旋转任务。实体交互在复合任务中的平移、旋转和缩放误差显著大于独立任务。关键发现是,实体交互在精度上优于手部交互,这很可能归因于桌面支撑和受限的4自由度设计。这些发现为选择纯手部交互的设计者(揭示了复合任务中的权衡)以及利用实体交互的设计者(强调了尽管存在复合任务挑战但仍能获得精度提升)提供了参考依据。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
【AAAI2026】无限叙事:免训练的角色一致性文生图技术
专知会员服务
8+阅读 · 2025年11月18日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
20+阅读 · 2021年3月18日
【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
论文笔记之attention mechanism专题1:SA-Net(CVPR 2018)
统计学习与视觉计算组
16+阅读 · 2018年4月5日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
18+阅读 · 2024年12月27日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
相关VIP内容
144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
【AAAI2026】无限叙事:免训练的角色一致性文生图技术
专知会员服务
8+阅读 · 2025年11月18日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
20+阅读 · 2021年3月18日
【ACL2020-密歇根州立大学】语言和视觉推理的跨模态关联
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员