A persistent structural weakness in deep clustering is the disconnect between feature learning and cluster assignment. Most architectures invoke an external clustering step, typically k-means, to produce pseudo-labels that guide training, preventing the backbone from directly optimising for cluster quality. This paper introduces Deep Dual Competitive Learning (DDCL), the first fully differentiable end-to-end framework for unsupervised prototype-based representation learning. The core contribution is architectural: the external k-means is replaced by an internal Dual Competitive Layer (DCL) that generates prototypes as native differentiable outputs of the network. This single inversion makes the complete pipeline, from backbone feature extraction through prototype generation to soft cluster assignment, trainable by backpropagation through a single unified loss, with no Lloyd iterations, no pseudo-label discretisation, and no external clustering step. To ground the framework theoretically, the paper derives an exact algebraic decomposition of the soft quantisation loss into a simplex-constrained reconstruction error and a non-negative weighted prototype variance term. This identity reveals a self-regulating mechanism built into the loss geometry: the gradient of the variance term acts as an implicit separation force that resists prototype collapse without any auxiliary objective, and leads to a global Lyapunov stability theorem for the reduced frozen-encoder system. Six blocks of controlled experiments validate each structural prediction. The decomposition identity holds with zero violations across more than one hundred thousand training epochs; the negative feedback cycle is confirmed with Pearson -0.98; with a jointly trained backbone, DDCL outperforms its non-differentiable ablation by 65% in clustering accuracy and DeepCluster end-to-end by 122%.


翻译:深度聚类中一个持续存在的结构缺陷在于特征学习与聚类分配之间的割裂。大多数架构引入外部聚类步骤(通常为k-means)来生成指导训练的伪标签,这使得主干网络无法直接针对聚类质量进行优化。本文提出深度双竞争学习(DDCL),这是首个完全可微分的端到端无监督原型表示学习框架。其核心贡献在于架构层面:外部k-means被内部双竞争层(DCL)取代,该层将原型作为网络的原生可微分输出。这一单一反转使得从主干特征提取、原型生成到软聚类分配的完整流水线,能够通过一个统一损失函数进行反向传播训练,无需任何Lloyd迭代、伪标签离散化或外部聚类步骤。为在理论上奠定框架基础,本文推导出软量化损失的精确代数分解,将其分解为单纯形约束的重构误差与非负加权原型方差项。该恒等式揭示了嵌入损失几何中的自调节机制:方差项的梯度充当隐式分离力,无需任何辅助目标即可抵抗原型坍缩,并导致简化冻结编码器系统的全局李雅普诺夫稳定性定理。六组受控实验验证了每个结构预测:该分解恒等式在超过十万个训练轮次中零违反;负反馈循环得到Pearson相关系数-0.98的确认;在联合训练主干网络的情况下,DDCL在聚类准确率上比其不可微分的消融方案提升65%,比端到端DeepCluster提升122%。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年7月7日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
半监督深度学习小结:类协同训练和一致性正则化
深度强化学习简介
专知
30+阅读 · 2018年12月3日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
专知会员服务
16+阅读 · 2021年7月7日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员