Embodied AI and robotic systems increasingly depend on scalable, diverse, and physically grounded 3D content for simulation-based training and real-world deployment. While 3D generative modeling has advanced rapidly, embodied applications impose requirements far beyond visual realism: generated objects must carry kinematic structure and material properties, scenes must support interaction and task execution, and the resulting content must bridge the gap between simulation and reality. This survey reviews 3D generation for embodied AI and organizes the literature around three roles that 3D generation plays in embodied systems. In Data Generator, 3D generation produces simulation-ready objects and assets, including articulated, physically grounded, and deformable content for downstream interaction; in Simulation Environments, it constructs interactive and task-oriented worlds, spanning structure-aware, controllable, and agentic scene generation; and in Sim2Real Bridge, it supports digital twin reconstruction, data augmentation, and synthetic demonstrations for downstream robot learning and real-world transfer. We also show that the field is shifting from visual realism toward interaction readiness, and we identify the main bottlenecks, including limited physical annotations, the gap between geometric quality and physical validity, fragmented evaluation, and the persistent sim-to-real divide, that must be addressed for 3D generation to become a dependable foundation for embodied intelligence. Our project page is at https://3dgen4robot.github.io.


翻译:具身智能与机器人系统日益依赖可扩展、多样化且具备物理真实性的三维内容,以支持基于仿真的训练和实际部署。尽管三维生成建模技术已取得快速进展,但具身应用对其提出的要求远超视觉真实性:生成对象必须包含运动学结构与材质属性,场景需支持交互与任务执行,且最终内容需弥合仿真与现实之间的鸿沟。本综述回顾了面向具身智能的三维生成技术,并围绕三维生成在具身系统中扮演的三种角色组织相关文献。在数据生成器角色中,三维生成为下游交互生成即用型仿真对象与资产,包括铰接式、物理可驱动及可变形内容;在仿真环境角色中,它构建交互式与任务导向型世界,涵盖结构感知、可控及具身智能体驱动的场景生成;在仿真到现实桥梁角色中,它支撑数字孪生重建、数据增强及合成演示,服务于下游机器人学习与真实环境迁移。我们还指出该领域正从视觉真实性转向交互就绪性,并识别出主要瓶颈——包括物理标注数据稀缺、几何质量与物理有效性间的差距、评估体系碎片化以及持续的仿真-现实鸿沟,这些均是三维生成成为具身智能可靠基础所需攻克的关键问题。项目页面请见https://3dgen4robot.github.io。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
17+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
具身智能学习综述:基于物理模拟器与世界模型的方法
专知会员服务
35+阅读 · 2025年7月2日
三维物体与场景生成的最新进展:综述
专知会员服务
19+阅读 · 2025年4月17日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月11日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
9+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
17+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
具身智能学习综述:基于物理模拟器与世界模型的方法
专知会员服务
35+阅读 · 2025年7月2日
三维物体与场景生成的最新进展:综述
专知会员服务
19+阅读 · 2025年4月17日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员