Modern autonomous driving and driver assistance systems rely predominantly on cameras, radars and LiDARs for environmental perception. However, these modalities face different environmental limitations, including poor illumination for cameras and adverse weather for LiDAR. Acoustic sensing, particularly using microphone arrays, could provide complementary perception capabilities for autonomous driving, but has remained largely underexplored. In this work, we design a horizontally arranged microphone array that functions as the "ears" of a vehicle, enabling localization of nearby moving vehicles in a bird's-eye view (BEV) representation that captures both their relative direction and distance. Using this array, we collect a real-world driving dataset, AcousticScenes, which contains 2,117 static and 2,863 dynamic samples with synchronized spatial acoustic signals, LiDAR point clouds and 3D bounding box annotations. Building on this dataset, we propose AcousticBEV, a learning-based method for acoustic BEV object localization, which estimates the center locations of moving traffic participants in BEV from the microphone-array signals, conditioned on the ego vehicle's own speed. Experimental results demonstrate that AcousticBEV outperforms both classical signal-processing baselines and other learning-based methods, achieving F1 scores of $47.7 \pm 1.2$% on "Easy" scenarios and $45.1 \pm 1.4$% on "Difficult" cases. Our findings demonstrate that acoustic signals from a low-cost, vehicle-mounted microphone array can localize nearby moving vehicles in both azimuth and distance.


翻译:暂无翻译

0
下载
关闭预览

相关内容

[ICML2022] NeuroFluid: 流体仿真的人工智能新范式
专知会员服务
28+阅读 · 2022年6月8日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
自动驾驶毫米波雷达物体检测技术-算法
CVer
14+阅读 · 2020年5月10日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
我国智能网联汽车车路协同发展路线政策及示范环境研究
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
[ICML2022] NeuroFluid: 流体仿真的人工智能新范式
专知会员服务
28+阅读 · 2022年6月8日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员