The ability to automatically generate large-scale, interactive, and physically realistic 3D environments is crucial for advancing robotic learning and embodied intelligence. However, existing generative approaches often fail to capture the functional complexity of real-world interiors, particularly those containing articulated objects with movable parts essential for manipulation and navigation. This paper presents SceneFoundry, a language-guided diffusion framework that generates apartment-scale 3D worlds with functionally articulated furniture and semantically diverse layouts for robotic training. From natural language prompts, an LLM module controls floor layout generation, while diffusion-based posterior sampling efficiently populates the scene with articulated assets from large-scale 3D repositories. To ensure physical usability, SceneFoundry employs differentiable guidance functions to regulate object quantity, prevent articulation collisions, and maintain sufficient walkable space for robotic navigation. Extensive experiments demonstrate that our framework generates structurally valid, semantically coherent, and functionally interactive environments across diverse scene types and conditions, enabling scalable embodied AI research.


翻译:自动生成大规模、交互式且物理逼真的三维环境的能力对于推进机器人学习和具身智能至关重要。然而,现有的生成方法往往无法捕捉真实世界室内环境的功能复杂性,尤其是那些包含可移动部件、对操作和导航至关重要的铰接式物体的场景。本文提出了SceneFoundry,一个语言引导的扩散框架,能够为机器人训练生成公寓规模、包含功能化铰接家具和语义多样化布局的三维世界。基于自然语言提示,一个LLM模块控制楼层布局生成,而基于扩散的后验采样则高效地从大规模三维资源库中选取铰接资产来填充场景。为确保物理可用性,SceneFoundry采用可微分引导函数来调控物体数量、防止铰接碰撞,并为机器人导航维持足够的可通行空间。大量实验表明,我们的框架能够在多种场景类型和条件下生成结构有效、语义连贯且功能交互的环境,从而支持可扩展的具身人工智能研究。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员