Road surface classification (RSC) is a key enabler for environment-aware predictive maintenance systems. However, existing RSC techniques often fail to generalize beyond narrow operational conditions due to limited sensing modalities and datasets that lack environmental diversity. This work addresses these limitations by introducing a multimodal framework that fuses images and inertial measurements using a lightweight bidirectional cross-attention module followed by an adaptive gating layer that adjusts modality contributions under domain shifts. Given the limitations of current benchmarks, especially regarding lack of variability, we introduce ROAD, a new dataset composed of three complementary subsets: (i) real-world multimodal recordings with RGB-IMU streams synchronized using a gold-standard industry datalogger, captured across diverse lighting, weather, and surface conditions; (ii) a large vision-only subset designed to assess robustness under adverse illumination and heterogeneous capture setups; and (iii) a synthetic subset generated to study out-of-distribution generalization in scenarios difficult to obtain in practice. Experiments show that our method achieves a +1.4 pp improvement over the previous state-of-the-art on the PVS benchmark and an +11.6 pp improvement on our multimodal ROAD subset, with consistently higher F1-scores on minority classes. The framework also demonstrates stable performance across challenging visual conditions, including nighttime, heavy rain, and mixed-surface transitions. These findings indicate that combining affordable camera and IMU sensors with multimodal attention mechanisms provides a scalable, robust foundation for road surface understanding, particularly relevant for regions where environmental variability and cost constraints limit the adoption of high-end sensing suites.


翻译:路面分类(RSC)是实现环境感知预测性维护系统的关键技术。然而,由于传感模态有限且现有数据集缺乏环境多样性,当前的RSC方法往往难以在狭窄的操作条件之外实现泛化。本研究通过提出一种多模态框架来解决这些局限性,该框架利用轻量级双向交叉注意力模块融合图像与惯性测量数据,并通过自适应门控层在域偏移下调整各模态的贡献。鉴于当前基准测试(尤其是多样性不足方面)的局限性,我们引入了ROAD数据集,该数据集包含三个互补的子集:(i)使用工业级标准数据记录器同步采集的真实世界多模态RGB-IMU流数据,涵盖多样化的光照、天气与路面条件;(ii)专为评估恶劣光照及异构采集设置下鲁棒性而设计的大规模纯视觉子集;(iii)为研究实践中难以获取的分布外泛化场景而生成的合成子集。实验表明,我们的方法在PVS基准上较先前最优结果提升了1.4个百分点,在多模态ROAD子集上提升了11.6个百分点,且在少数类别上持续获得更高的F1分数。该框架在夜间、暴雨及混合路面过渡等具有挑战性的视觉条件下也表现出稳定的性能。这些结果表明,将经济型相机与IMU传感器结合多模态注意力机制,为路面理解提供了可扩展且鲁棒的基础方案,尤其适用于环境多变且成本限制高端传感套件部署的区域。

0
下载
关闭预览

相关内容

《基于传感器的机器学习车辆分类》最新170页
专知会员服务
25+阅读 · 2025年3月17日
面向图像分类的对抗鲁棒性评估综述
专知会员服务
59+阅读 · 2022年10月15日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《基于传感器的机器学习车辆分类》最新170页
专知会员服务
25+阅读 · 2025年3月17日
面向图像分类的对抗鲁棒性评估综述
专知会员服务
59+阅读 · 2022年10月15日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员