Collecting embodied interaction data at scale remains costly and difficult due to the limited accessibility of conventional interfaces. We present a gamified data collection framework based on Unity that combines procedural scene generation, VR-based humanoid robot control, automatic task evaluation, and trajectory logging. A trash pick-and-place task prototype is developed to validate the full workflow.Experimental results indicate that the collected demonstrations exhibit broad coverage of the state-action space, and that increasing task difficulty leads to higher motion intensity as well as more extensive exploration of the arm's workspace. The proposed framework demonstrates that game-oriented virtual environments can serve as an effective and extensible solution for embodied data collection.


翻译:大规模收集具身交互数据依然成本高昂且困难,这归因于传统接口的有限可及性。我们提出一个基于Unity的游戏化数据收集框架,该框架结合了程序化场景生成、VR人形机器人控制、自动任务评估和轨迹记录等功能。为验证完整工作流程,开发了一个垃圾拾放任务原型。实验结果表明,收集到的演示动作覆盖了广泛的状态-动作空间,且任务难度的增加导致更高的运动强度以及机械臂工作空间的更大范围探索。所提出的框架表明,面向游戏的虚拟环境可作为具身数据收集的有效且可扩展的解决方案。

0
下载
关闭预览

相关内容

IEEE虚拟现实会议一直是展示虚拟现实(VR)广泛领域研究成果的主要国际场所,包括增强现实(AR),混合现实(MR)和3D用户界面中寻求高质量的原创论文。每篇论文应归类为主要涵盖研究,应用程序或系统,并使用以下准则进行分类:研究论文应描述有助于先进软件,硬件,算法,交互或人为因素发展的结果。应用论文应解释作者如何基于现有思想并将其应用到以新颖的方式解决有趣的问题。每篇论文都应包括对给定应用领域中VR/AR/MR使用成功的评估。 官网地址:http://dblp.uni-trier.de/db/conf/vr/
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
大型语言模型被称为太空部队的 “游戏规则改变器”
专知会员服务
33+阅读 · 2023年12月15日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
16+阅读 · 2023年7月4日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月22日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 5分钟前
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员