Multi-sensor fusion is central to robust robotic perception, yet most existing systems operate under static sensor configurations, collecting all modalities at fixed rates and fidelity regardless of their situational utility. This rigidity wastes bandwidth, computation, and energy, and prevents systems from prioritizing sensors under challenging conditions such as poor lighting or occlusion. Recent advances in reinforcement learning (RL) and modality-aware fusion suggest the potential for adaptive perception, but prior efforts have largely focused on re-weighting features at inference time, ignoring the physical cost of sensor data collection. We introduce a framework that unifies sensing, learning, and actuation into a closed reconfiguration loop. A task-specific detection backbone extracts multispectral features (e.g. RGB, IR, mmWave, depth) and produces quantitative contribution scores for each modality. These scores are passed to an RL agent, which dynamically adjusts sensor configurations, including sampling frequency, resolution, sensing range, and etc., in real time. Less informative sensors are down-sampled or deactivated, while critical sensors are sampled at higher fidelity as environmental conditions evolve. We implement and evaluate this framework on a mobile rover, showing that adaptive control reduces GPU load by 29.3\% with only a 5.3\% accuracy drop compared to a heuristic baseline. These results highlight the potential of resource-aware adaptive sensing for embedded robotic platforms.


翻译:多传感器融合是鲁棒机器人感知的核心,然而现有系统大多采用静态传感器配置,以固定速率和保真度收集所有模态数据,而忽略其情境效用。这种僵化性浪费了带宽、计算资源和能量,且无法在恶劣条件(如光照不足或遮挡)下优先使用关键传感器。强化学习与模态感知融合的最新进展展现了自适应感知的潜力,但先前研究主要集中于推理时重新加权特征,忽视了传感器数据采集的物理成本。本文提出一个将传感、学习与执行统一为闭环重配置框架的系统。任务专用的检测主干网络提取多光谱特征(如RGB、红外、毫米波、深度),并为各模态生成定量贡献度评分。这些评分被传递至强化学习智能体,由其动态实时调整传感器配置,包括采样频率、分辨率、感知范围等。随着环境条件变化,信息量较低的传感器将被降采样或停用,而关键传感器则以更高保真度采样。我们在移动探测车上实现并评估该框架,实验表明自适应控制相比启发式基线在仅损失5.3%精度的情况下,可降低29.3%的GPU负载。这些结果凸显了资源感知自适应传感在嵌入式机器人平台中的应用潜力。

0
下载
关闭预览

相关内容

专知会员服务
64+阅读 · 2021年10月14日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员