Incomplete multi-view data, where certain views are entirely missing for some samples, poses significant challenges for traditional multi-view clustering methods. Existing deep incomplete multi-view clustering approaches often rely on static fusion strategies or two-stage pipelines, leading to suboptimal fusion results and error propagation issues. To address these limitations, this paper proposes a novel incomplete multi-view clustering framework based on Hierarchical Semantic Alignment and Cooperative Completion (HSACC). HSACC achieves robust cross-view fusion through a dual-level semantic space design. In the low-level semantic space, consistency alignment is ensured by maximizing mutual information across views. In the high-level semantic space, adaptive view weights are dynamically assigned based on the distributional affinity between individual views and an initial fused representation, followed by weighted fusion to generate a unified global representation. Additionally, HSACC implicitly recovers missing views by projecting aligned latent representations into high-dimensional semantic spaces and jointly optimizes reconstruction and clustering objectives, enabling cooperative learning of completion and clustering. Experimental results demonstrate that HSACC significantly outperforms state-of-the-art methods on five benchmark datasets. Ablation studies validate the effectiveness of the hierarchical alignment and dynamic weighting mechanisms, while parameter analysis confirms the model's robustness to hyperparameter variations. The code is available at https://github.com/XiaojianDing/2025-NeurIPS-HSACC.


翻译:不完整多视图数据中部分样本的某些视图完全缺失,这对传统多视图聚类方法构成了重大挑战。现有的深度不完整多视图聚类方法通常依赖静态融合策略或两阶段流程,导致次优的融合结果和误差传播问题。为克服这些局限,本文提出了一种基于层次语义对齐与协同补全的新型不完整多视图聚类框架。该框架通过双层级语义空间设计实现鲁棒的跨视图融合。在低层级语义空间中,通过最大化视图间的互信息确保一致性对齐。在高层级语义空间中,根据各视图与初始融合表示之间的分布亲和度动态分配自适应视图权重,随后进行加权融合以生成统一的全局表示。此外,该框架通过将对齐的潜在表示投影至高维语义空间来隐式恢复缺失视图,并联合优化重构与聚类目标,从而实现补全与聚类的协同学习。实验结果表明,该框架在五个基准数据集上显著优于现有先进方法。消融研究验证了层次对齐与动态加权机制的有效性,参数分析则证实了模型对超参数变化的鲁棒性。代码发布于 https://github.com/XiaojianDing/2025-NeurIPS-HSACC。

0
下载
关闭预览

相关内容

《多模态对齐与融合》综述
专知会员服务
99+阅读 · 2024年11月27日
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
专知会员服务
22+阅读 · 2021年3月25日
【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
78+阅读 · 2021年1月30日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
半监督深度学习小结:类协同训练和一致性正则化
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《多模态对齐与融合》综述
专知会员服务
99+阅读 · 2024年11月27日
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
专知会员服务
22+阅读 · 2021年3月25日
【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
78+阅读 · 2021年1月30日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员