Although multi-view multi-label learning has been extensively studied, research on the dual-missing scenario, where both views and labels are incomplete, remains largely unexplored. Existing methods mainly rely on contrastive learning or information bottleneck theory to learn consistent representations under missing-view conditions, but loss-based alignment without explicit structural constraints limits the ability to capture stable and discriminative shared semantics. To address this issue, we introduce a more structured mechanism for consistent representation learning: we learn discrete consistent representations through a multi-view shared codebook and cross-view reconstruction, which naturally align different views within the limited shared codebook embeddings and reduce feature redundancy. At the decision level, we design a weight estimation method that evaluates the ability of each view to preserve label correlation structures, assigning weights accordingly to enhance the quality of the fused prediction. In addition, we introduce a fused-teacher self-distillation framework, where the fused prediction guides the training of view-specific classifiers and feeds the global knowledge back into the single-view branches, thereby enhancing the generalization ability of the model under missing-label conditions. The effectiveness of our proposed method is thoroughly demonstrated through extensive comparative experiments with advanced methods on five benchmark datasets. Code is available at https://github.com/xuy11/SCSD.


翻译:尽管多视角多标签学习已被广泛研究,但针对视角与标签均不完整的双重缺失场景仍缺乏深入探索。现有方法主要依赖对比学习或信息瓶颈理论在缺失视角条件下学习一致表征,然而基于损失函数对齐的方式缺乏显式结构约束,难以捕获稳定且具有判别性的共享语义。为解决该问题,我们引入一种更具结构化的机制以实现一致性表征学习:通过多视角共享码本与跨视角重构学习离散化统一表征,在有限的共享码本嵌入空间中自然对齐不同视角,同时降低特征冗余。在决策层面,我们设计了一种权重估计方法,通过评估各视角保持标签相关结构的能力,动态分配权重以提升融合预测质量。此外,我们提出融合教师自蒸馏框架:利用融合预测指导视角特定分类器的训练,并将全局知识反馈至单视角分支,从而增强模型在标签缺失条件下的泛化能力。通过在五个基准数据集上与先进方法的广泛对比实验,充分验证了所提方法的有效性。代码已开源至 https://github.com/xuy11/SCSD。

0
下载
关闭预览

相关内容

《不完全多标签学习综述:最新进展与未来趋势》
专知会员服务
26+阅读 · 2024年6月11日
《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
监督和半监督学习下的多标签分类综述
专知会员服务
46+阅读 · 2022年8月3日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月23日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
9+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
11+阅读 · 6月17日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员