Robust and privacy-preserving indoor scene understanding remains a fundamental open problem. While optical sensors such as RGB and LiDAR offer high spatial fidelity, they suffer from severe occlusions and introduce privacy risks in indoor environments. In contrast, millimeter-wave (mmWave) radar preserves privacy and penetrates obstacles, but its inherently low spatial resolution makes reliable geometric reasoning difficult. We introduce RISE, the first benchmark and system for single-static-radar indoor scene understanding, jointly targeting layout reconstruction and object detection. RISE is built upon the key insight that multipath reflections-traditionally treated as noise-encode rich geometric cues. To exploit this, we propose a Bi-Angular Multipath Enhancement that explicitly models Angle-of-Arrival and Angle-of-Departure to recover secondary (ghost) reflections and reveal invisible structures. On top of these enhanced observations, a simulation-to-reality Hierarchical Diffusion framework transforms fragmented radar responses into complete layout reconstruction and object detection. Our benchmark contains 50,000 frames collected across 100 real indoor trajectories, forming the first large-scale dataset dedicated to single, static, radar-based indoor scene understanding. Extensive experiments show that RISE reduces the Chamfer Distance by 60% (down to 16 cm) compared to the state of the art in mmWave layout reconstruction, and delivers the first mmWave-based object detection, achieving 58% IoU. These results establish RISE as a new foundation for geometry-aware and privacy-preserving indoor scene understanding using a single static radar. Our website and code are available at https://rise-cvpr.github.io.


翻译:鲁棒且保护隐私的室内场景理解仍是一个根本性的开放问题。虽然RGB和LiDAR等光学传感器具有高空间保真度,但在室内环境中易受严重遮挡影响,并引入隐私风险。相比之下,毫米波雷达能保护隐私并穿透障碍物,但其固有的低空间分辨率导致可靠的几何推理变得困难。我们提出RISE——首个面向单静态雷达室内场景理解的基准与系统,同时实现布局重建与目标检测。RISE基于一个关键洞察:传统上被视为噪声的多径反射编码了丰富的几何线索。为利用此特性,我们提出双角度多径增强方法,显式建模到达角和离开角以恢复二次(鬼影)反射并揭示不可见结构。基于这些增强观测,一个从仿真到现实的层次化扩散框架将碎片化雷达响转换为完整的布局重建与目标检测。我们的基准包含采集自100条真实室内轨迹的50,000帧数据,构建了首个专用于单静态雷达室内场景理解的大规模数据集。大量实验表明,RISE在毫米波布局重建中相比现有技术将倒角距离降低60%(降至16厘米),并实现了首个基于毫米波的目标检测,IoU达到58%。这些结果确立了RISE作为利用单静态雷达实现几何感知且保护隐私的室内场景理解的新基础。我们的网站与代码发布于https://rise-cvpr.github.io。

0
下载
关闭预览

相关内容

《利用激光雷达实现无人机蜂群检测与追踪研究》
专知会员服务
20+阅读 · 2025年6月2日
《利用传感器融合和机器学习增强毫米波雷达功能》145页
专家报告|高光谱遥感信息提取方法
中国图象图形学报
12+阅读 · 2019年7月14日
MaskFusion: 多运动目标实时识别、跟踪和重建
计算机视觉life
11+阅读 · 2019年4月20日
自动驾驶车载激光雷达技术现状分析
智能交通技术
17+阅读 · 2019年4月9日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
专知会员服务
1+阅读 · 今天15:24
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 今天15:15
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
2+阅读 · 今天15:11
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员