Embodied AI and robotic systems increasingly depend on scalable, diverse, and physically grounded 3D content for simulation-based training and real-world deployment. While 3D generative modeling has advanced rapidly, embodied applications impose requirements far beyond visual realism: generated objects must carry kinematic structure and material properties, scenes must support interaction and task execution, and the resulting content must bridge the gap between simulation and reality. This survey presents the first survey of 3D generation for embodied AI and organizes the literature around three roles that 3D generation plays in embodied systems. In \emph{Data Generator}, 3D generation produces simulation-ready objects and assets, including articulated, physically grounded, and deformable content for downstream interaction; in \emph{Simulation Environments}, it constructs interactive and task-oriented worlds, spanning structure-aware, controllable, and agentic scene generation; and in \emph{Sim2Real Bridge}, it supports digital twin reconstruction, data augmentation, and synthetic demonstrations for downstream robot learning and real-world transfer. We also show that the field is shifting from visual realism toward interaction readiness, and we identify the main bottlenecks, including limited physical annotations, the gap between geometric quality and physical validity, fragmented evaluation, and the persistent sim-to-real divide, that must be addressed for 3D generation to become a dependable foundation for embodied intelligence. Our project page is at https://3dgen4robot.github.io.


翻译:具身智能与机器人系统日益依赖于可扩展、多样化且具备物理真实性的三维内容,以支撑基于仿真的训练及实际部署。尽管三维生成建模技术已取得快速进展,但具身应用对生成内容提出了远超视觉真实性的要求:生成物体需具备运动学结构与材质属性,场景必须支持交互与任务执行,且生成内容须弥合仿真与现实的鸿沟。本综述首次系统梳理面向具身智能的三维生成领域,围绕三维生成在具身系统中扮演的三种角色组织文献:作为**数据生成器**,三维生成产生面向仿真的物体与资产,包括铰接式、物理真实及可变形内容,以支持下游交互;作为**仿真环境**,其构建可交互与任务导向的世界,涵盖结构感知、可控及具身智能体场景生成;作为**仿真到现实桥梁**,其支撑数字孪生重建、数据增强及合成示教,助力下游机器人学习与现实迁移。我们还指出,该领域正从视觉真实性转向交互就绪性,并识别出主要瓶颈,包括物理标注不足、几何质量与物理有效性间的鸿沟、碎片化评估,以及持续的仿真到现实差距——唯有克服这些挑战,三维生成才能成为具身智能的可靠基石。我们的项目页面位于 https://3dgen4robot.github.io。

0
下载
关闭预览

相关内容

面向具身智能与机器人仿真的三维生成:综述
专知会员服务
17+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
微型仿生机器人研究现状综述
专知会员服务
20+阅读 · 2025年3月28日
重磅!《具身智能发展报告(2024年)》发布,54页pdf
专知会员服务
92+阅读 · 2024年8月27日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
2+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
6+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
5+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
6+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
5+阅读 · 6月24日
综述 | 世界动作模型:少做梦,多行动
专知会员服务
7+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
12+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
17+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
微型仿生机器人研究现状综述
专知会员服务
20+阅读 · 2025年3月28日
重磅!《具身智能发展报告(2024年)》发布,54页pdf
专知会员服务
92+阅读 · 2024年8月27日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员