Collaborative perception is vital for autonomous driving yet remains constrained by tight communication budgets. Earlier work reduced bandwidth by compressing full feature maps with fixed-rate encoders, which adapts poorly to a changing environment, and it further evolved into spatial selection methods that improve efficiency by focusing on salient regions, but this object-centric approach often sacrifices global context, weakening holistic scene understanding. To overcome these limitations, we introduce \textit{WhisperNet}, a bandwidth-aware framework that proposes a novel, receiver-centric paradigm for global coordination across agents. Senders generate lightweight saliency metadata, while the receiver formulates a global request plan that dynamically budgets feature contributions across agents and features, retrieving only the most informative features. A collaborative feature routing module then aligns related messages before fusion to ensure structural consistency. Extensive experiments show that WhisperNet achieves state-of-the-art performance, improving [email protected] on OPV2V by 2.4\% with only 0.5\% of the communication cost. As a plug-and-play component, it boosts strong baselines with merely 5\% of full bandwidth while maintaining robustness under localization noise. These results demonstrate that globally-coordinated allocation across \textit{what} and \textit{where} to share is the key to achieving efficient collaborative perception.


翻译:协同感知对于自动驾驶至关重要,但始终受限于紧张的通信带宽。先前的研究通过使用固定速率编码器压缩完整特征图来降低带宽,但这种方法难以适应动态变化的环境;随后演变为空间选择方法,通过聚焦显著区域来提高效率,但这种以对象为中心的方法常常牺牲全局上下文,削弱了对场景的整体理解。为了克服这些局限性,我们提出了 \textit{WhisperNet},这是一个具有带宽感知能力的框架,它引入了一种新颖的、以接收者为中心的范式,用于实现跨智能体的全局协调。发送方生成轻量级的显著元数据,而接收方则制定一个全局请求计划,该计划动态地为不同智能体和特征分配特征贡献预算,仅检索信息量最大的特征。随后,一个协同特征路由模块在融合前对齐相关消息,以确保结构一致性。大量实验表明,WhisperNet 实现了最先进的性能,在 OPV2V 数据集上将 [email protected] 提升了 2.4%,而通信成本仅为原来的 0.5%。作为一个即插即用组件,它仅需完整带宽的 5% 即可显著提升强基线模型的性能,并在定位噪声下保持鲁棒性。这些结果表明,对共享 \textit{内容} 和 \textit{位置} 进行全局协调分配是实现高效协同感知的关键。

0
下载
关闭预览

相关内容

你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
图卷积网络到底怎么做,这是一份极简的Numpy实现
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员