Multi-view multi-label learning frequently suffers from simultaneous feature absence and incomplete annotations, due to challenges in data acquisition and cost-intensive supervision. To tackle the complex yet highly practical problem while overcoming the existing limitations of feature recovery, representation disentanglement, and label semantics modeling, we propose an Adaptive Disentangled Representation Learning method (ADRL). ADRL achieves robust view completion by propagating feature-level affinity across modalities with neighborhood awareness, and reinforces reconstruction effectiveness by leveraging a stochastic masking strategy. Through disseminating category-level association across label distributions, ADRL refines distribution parameters for capturing interdependent label prototypes. Besides, we formulate a mutual-information-based objective to promote consistency among shared representations and suppress information overlap between view-specific representation and other modalities. Theoretically, we derive the tractable bounds to train the dual-channel network. Moreover, ADRL performs prototype-specific feature selection by enabling independent interactions between label embeddings and view representations, accompanied by the generation of pseudo-labels for each category. The structural characteristics of the pseudo-label space are then exploited to guide a discriminative trade-off during view fusion. Finally, extensive experiments on public datasets and real-world applications demonstrate the superior performance of ADRL.


翻译:多视图多标签学习常因数据采集困难与标注成本高昂而同时面临特征缺失与标注不完备的问题。为应对这一复杂且极具实际意义的问题,并克服现有方法在特征恢复、表示解耦与标签语义建模方面的局限,本文提出一种自适应解耦表示学习方法(ADRL)。ADRL通过跨模态传播具有邻域感知的特征级亲和度,实现鲁棒的视图补全;并借助随机掩码策略增强重建效果。通过跨标签分布传播类别级关联,ADRL优化分布参数以捕获相互依赖的标签原型。此外,我们构建了基于互信息的目标函数,以增强共享表示间的一致性,并抑制视图特定表示与其他模态间的信息重叠。理论上,我们推导了可处理的边界以训练双通道网络。进一步地,ADRL通过建立标签嵌入与视图表示间的独立交互,实现原型特定的特征选择,同时为每个类别生成伪标签。随后,利用伪标签空间的结构特性指导视图融合过程中的判别性权衡。最后,在公开数据集和实际应用场景中的大量实验验证了ADRL的优越性能。

0
下载
关闭预览

相关内容

多模态知识图谱表示学习综述
专知会员服务
72+阅读 · 2024年7月4日
《不完全多标签学习综述:最新进展与未来趋势》
专知会员服务
26+阅读 · 2024年6月11日
《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
清华最新《解耦表征学习》综述
专知会员服务
71+阅读 · 2023年2月23日
专知会员服务
54+阅读 · 2021年7月30日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员