Doubly-stochastic matrices (DSM) are increasingly utilized in structure-preserving deep architectures -- such as Optimal Transport layers and Sinkhorn-based attention -- to enforce numerical stability and probabilistic interpretability. In this work, we identify a critical spectral degradation phenomenon inherent to these constraints, termed the Homogeneity Trap. We demonstrate that the maximum-entropy bias, typical of Sinkhorn-based projections, drives the mixing operator towards the uniform barycenter, thereby suppressing the subdominant singular value σ_2 and filtering out high-frequency feature components. We derive a spectral bound linking σ_2 to the network's effective depth, showing that high-entropy constraints restrict feature transformation to a shallow effective receptive field. Furthermore, we formally demonstrate that Layer Normalization fails to mitigate this collapse in noise-dominated regimes; specifically, when spectral filtering degrades the Signal-to-Noise Ratio (SNR) below a critical threshold, geometric structure is irreversibly lost to noise-induced orthogonal collapse. Our findings highlight a fundamental trade-off between entropic stability and spectral expressivity in DSM-constrained networks.


翻译:双重随机矩阵(DSM)在结构保持的深度架构(如最优传输层和基于Sinkhorn的注意力机制)中的应用日益增多,以增强数值稳定性和概率可解释性。本文揭示了此类约束所固有的一个关键谱退化现象,称为“同质化陷阱”。我们证明,基于Sinkhorn投影中典型的极大熵偏置,会驱使混合算子趋向均匀重心,从而抑制次主导奇异值σ_2并滤除高频特征成分。我们推导出一个将σ_2与网络有效深度相关联的谱界,表明高熵约束会将特征变换限制在浅层有效感受野内。此外,我们严格证明了在噪声主导机制中,层归一化无法缓解此类塌缩;具体而言,当谱滤波使信噪比(SNR)降至临界阈值以下时,几何结构将因噪声诱导的正交塌缩而不可逆地丢失。我们的研究结果凸显了DSM约束网络中熵稳定性与谱表达能力之间的根本性权衡。

0
下载
关闭预览

相关内容

异质图学习手册: 基准,模型,理论分析,应用和挑战
专知会员服务
30+阅读 · 2024年7月18日
专知会员服务
30+阅读 · 2021年2月17日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
综述 | 异质信息网络分析与应用综述
专知
27+阅读 · 2020年8月8日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关VIP内容
异质图学习手册: 基准,模型,理论分析,应用和挑战
专知会员服务
30+阅读 · 2024年7月18日
专知会员服务
30+阅读 · 2021年2月17日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员