Constructing faithful 4D worlds from LiDAR-acquired sequences is crucial for embodied AI, yet current generative frameworks apply uniform modeling capacity across all spatial regions. This ignores that perceptual difficulty varies dramatically within a single scan: distant surfaces, occluded boundaries, and small-scale objects carry far higher uncertainty than well-observed structures. We present U4D, a new framework that explicitly leverages spatial uncertainty to guide LiDAR scene generation in a "hard-to-easy" schedule. U4D derives per-point uncertainty maps via Shannon Entropy from a pretrained segmentor, then applies an unconditional diffusion stage to synthesize high-entropy areas with precise geometry, followed by a conditional completion stage that fills in the remaining regions using these structures as priors. A MoST (Mixture of Spatio-Temporal) block further maintains cross-frame coherence by dynamically balancing spatial detail and temporal continuity. Extensive experiments on nuScenes and SemanticKITTI demonstrate state-of-the-art scene fidelity, temporal consistency, and downstream performance.


翻译:从LiDAR采集序列构建可信的4D世界对于具身人工智能至关重要,然而当前生成框架对所有空间区域采用统一的建模能力。这忽略了单次扫描中感知难度的巨大差异:远距离表面、遮挡边界和小尺度物体的不确定性远高于结构清晰的观测区域。我们提出U4D框架,该框架显式利用空间不确定性,以"由难到易"的调度方式引导LiDAR场景生成。U4D通过预训练分割器的香农熵推导逐点不确定性图,然后应用无条件扩散阶段合成具有精确几何结构的高熵区域,接着通过条件补全阶段以这些结构为先验填充剩余区域。MoST(时空混合)模块通过动态平衡空间细节与时间连续性,进一步保持跨帧一致性。在nuScenes和SemanticKITTI上的大量实验表明,该方法在场景逼真度、时间一致性和下游任务性能上均达到最优水平。

0
下载
关闭预览

相关内容

【CMU博士论文】迈向基于基础先验的 4D 感知研究
稀疏点云感知的表示学习
专知会员服务
9+阅读 · 2月9日
三维与四维世界建模综述
专知会员服务
30+阅读 · 2025年9月12日
4D生成技术的进展:研究综述
专知会员服务
24+阅读 · 2025年3月19日
3D点云基础模型:综述与展望
专知会员服务
17+阅读 · 2025年1月31日
【伯克利博士论文】揭示任何视频背后的四维世界
专知会员服务
26+阅读 · 2024年11月24日
AAAI 2022 | SASA: 重新思考三维物体检测中的点云采样问题
专知会员服务
24+阅读 · 2022年3月1日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月25日
Arxiv
0+阅读 · 5月6日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【CMU博士论文】迈向基于基础先验的 4D 感知研究
稀疏点云感知的表示学习
专知会员服务
9+阅读 · 2月9日
三维与四维世界建模综述
专知会员服务
30+阅读 · 2025年9月12日
4D生成技术的进展:研究综述
专知会员服务
24+阅读 · 2025年3月19日
3D点云基础模型:综述与展望
专知会员服务
17+阅读 · 2025年1月31日
【伯克利博士论文】揭示任何视频背后的四维世界
专知会员服务
26+阅读 · 2024年11月24日
AAAI 2022 | SASA: 重新思考三维物体检测中的点云采样问题
专知会员服务
24+阅读 · 2022年3月1日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员