Neural Radiance Fields (NeRFs) have been remarkably successful at synthesizing novel views of 3D scenes by optimizing a volumetric scene function. This scene function models how optical rays bring color information from a 3D object to the camera pixels. Radio frequency (RF) or audio signals can also be viewed as a vehicle for delivering information about the environment to a sensor. However, unlike camera pixels, an RF/audio sensor receives a mixture of signals that contain many environmental reflections (also called "multipath"). Is it still possible to infer the environment using such multipath signals? We show that with redesign, NeRFs can be taught to learn from multipath signals, and thereby "see" the environment. As a grounding application, we aim to infer the indoor floorplan of a home from sparse WiFi measurements made at multiple locations inside the home. Although a difficult inverse problem, our implicitly learnt floorplans look promising, and enables forward applications, such as indoor signal prediction and basic ray tracing.


翻译:神经辐射场(NeRF)通过优化体素场景函数,在合成三维场景的新视角方面取得了显著成功。该场景函数模拟了光学射线如何将颜色信息从三维物体传递至相机像素。射频(RF)或音频信号同样可被视为向传感器传递环境信息的载体。然而与相机像素不同,RF/音频传感器接收的是包含大量环境反射(亦称“多径效应”)的混合信号。利用此类多径信号是否仍能推断环境信息?我们证明,经过重新设计,NeRF能够从多径信号中学习,从而实现环境“感知”。作为基础应用,我们尝试通过室内多个位置采集的稀疏WiFi测量数据来推断住宅的室内平面布局。尽管这是复杂的逆问题,我们通过隐式学习获得的平面图展现出良好前景,并支持前向应用,例如室内信号预测与基础光线追踪。

0
下载
关闭预览

相关内容

面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
【ICML2024】神经 NeRF 压缩
专知会员服务
19+阅读 · 2024年6月15日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
【CVPR2023】学习神经双辐射场实时视图合成
专知会员服务
31+阅读 · 2023年4月23日
专知会员服务
74+阅读 · 2021年5月28日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
目标检测中图像增强,mixup 如何操作?
极市平台
30+阅读 · 2019年2月5日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员