Trusted multi-view classification aims to deliver reliable fusion for accurate predictions and has recently attracted substantial attention in both academia and industry. However, existing TMVC methods typically assume strict alignment across different views during both training and testing phases, which is often impractical in real-world scenarios. This limitation motivates us to revisit TMVC and extend it to a more challenging setting: how to mitigate the impact of view conflict (VC) during both training and inference. To tackle this setting, existing TMVC methods suffer from three critical limitations: underestimated uncertainty, misleading decisions, and overfitting to VC. To address these issues, this paper proposes a novel Robust Fuzzy Multi-View Learning (R-FUML) framework grounded in Fuzzy Set Theory. Specifically, R-FUML models network outputs as fuzzy memberships to quantify category credibility and uses an entropy-based method for reliable multi-view fusion. To this end, we present a Robust Multi-view Fusion (RMF) strategy that accounts for both view-specific uncertainty and inter-view conflicts, thereby alleviating the adverse impacts of VC on decision-making. To identify and conquer VC during training, we further design a Robust Learning Against VC (RLVC) framework. RLVC isolates conflicting samples by leveraging neural networks' memory effects and then retrains the model by applying a penalty to these conflicting views. Extensive experiments across eight public datasets demonstrate that R-FUML consistently outperforms 15 state-of-the-art baselines in robustness and uncertainty estimation. The code will be released upon acceptance.


翻译:可信多视图分类旨在提供可靠融合以获得准确预测,近年来在学术界和工业界都引起了广泛关注。然而,现有的TMVC方法通常假设训练和测试过程中不同视图之间严格对齐,这在现实场景中往往不切实际。这一局限性促使我们重新审视TMVC,并将其扩展到更具挑战性的设置:如何在训练和推理过程中缓解视角冲突的影响。针对这一设置,现有TMVC方法存在三个关键局限性:不确定性低估、误导性决策以及过拟合视角冲突。为解决这些问题,本文基于模糊集理论提出了一种新颖的鲁棒模糊多视图学习框架。具体而言,R-FUML将网络输出建模为模糊隶属度以量化类别可信度,并采用基于熵的方法实现可靠的多视图融合。为此,我们提出了一种鲁棒多视图融合策略,该策略同时考虑视图特定不确定性和视图间冲突,从而减轻VC对决策的不利影响。为在训练过程中识别并克服VC,我们进一步设计了鲁棒抗VC学习框架。RLVC通过利用神经网络的记忆效应隔离冲突样本,然后通过对这些冲突视图施加惩罚来重新训练模型。在八个公开数据集上的大量实验表明,R-FUML在鲁棒性和不确定性估计方面持续优于15个最先进的基线方法。相关代码将在论文被接收后发布。

0
下载
关闭预览

相关内容

【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
【ICML2022】DRIBO:基于多视图信息瓶颈的鲁棒深度强化学习
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
80+阅读 · 2020年6月11日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月1日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员