Analysis of learned representations has a blind spot: it focuses on $similarity$, measuring how closely embeddings align with external references, but similarity reveals only what is represented, not whether that structure is robust. We introduce $geometric$ $stability$, a distinct dimension that quantifies how reliably representational geometry holds under perturbation, and present $Shesha$, a framework for measuring it. Across 2,463 configurations in seven domains, we show that stability and similarity are empirically uncorrelated ($ρ\approx 0.01$) and mechanistically distinct: similarity metrics collapse after removing the top principal components, while stability retains sensitivity to fine-grained manifold structure. This distinction yields actionable insights: for safety monitoring, stability acts as a functional geometric canary, detecting structural drift nearly 2$\times$ more sensitively than CKA while filtering out the non-functional noise that triggers false alarms in rigid distance metrics; for controllability, supervised stability predicts linear steerability ($ρ= 0.89$-$0.96$); for model selection, stability dissociates from transferability, revealing a geometric tax that transfer optimization incurs. Beyond machine learning, stability predicts CRISPR perturbation coherence and neural-behavioral coupling. By quantifying $how$ $reliably$ systems maintain structure, geometric stability provides a necessary complement to similarity for auditing representations across biological and computational systems.


翻译:对学习表征的分析存在一个盲点:它侧重于$相似性$,即衡量嵌入与外部参考的对齐程度,但相似性仅揭示了表征的内容,而未表明该结构是否稳健。我们引入了$几何$ $稳定性$这一独立维度,用于量化表征几何在扰动下的保持可靠性,并提出了测量该性质的$Shesha$框架。通过在七个领域的2,463种配置中进行实验,我们证明稳定性与相似性在经验上不相关($ρ\approx 0.01$),且机制上存在本质区别:移除主要主成分后相似性度量会失效,而稳定性仍对细粒度流形结构保持敏感。这一区别产生了可操作的见解:在安全监控方面,稳定性可作为功能性几何预警指标,其检测结构漂移的灵敏度比CKA高出近2倍,同时能过滤掉在刚性距离度量中引发误报的非功能性噪声;在可控性方面,监督稳定性可预测线性可操控性($ρ= 0.89$-$0.96$);在模型选择方面,稳定性与可迁移性解耦,揭示了迁移优化所付出的几何代价。在机器学习之外,稳定性还能预测CRISPR扰动一致性及神经-行为耦合。通过量化系统$可靠地$维持结构的方式,几何稳定性为生物与计算系统的表征审计提供了相似性度量所必需的补充维度。

0
下载
关闭预览

相关内容

几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
【AAAI2022】不确定性感知的多视角表示学习
专知会员服务
47+阅读 · 2022年1月25日
专知会员服务
38+阅读 · 2021年6月3日
专知会员服务
65+阅读 · 2021年4月11日
【国防科大】复杂异构数据的表征学习综述
专知会员服务
85+阅读 · 2020年4月23日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
您可以相信模型的不确定性吗?
TensorFlow
14+阅读 · 2020年1月31日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月6日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员