Topological Data Analysis (TDA) offers a principled, intrinsic lens for comparing neural representations. However, existing paired topological divergences (e.g., RTD) are limited by heuristic asymmetry and, more critically, unbounded scores that depend on sample size, hindering reliable cross-scenario benchmarking. To address these challenges, we develop a unified topological toolkit serving two complementary needs: fine-grained structural diagnosis and robust, standardized evaluation. First, we complete the RTD framework by introducing Symmetric Representation Topology Divergence (SRTD) and its efficient variant SRTD-lite. Beyond resolving the theoretical asymmetry of prior variants, SRTD consolidates diagnostic information into a single, comprehensive cross-barcode signature. This allows for precise localization of structural discrepancies and serves as an effective optimization objective without the overhead of dual directional computations. Second, to enable reliable benchmarking across heterogeneous settings, we propose Normalized Topological Similarity (NTS). By measuring the rank correlation of hierarchical merge orders, NTS yields a scale-invariant metric bounded between -1 and 1, effectively overcoming the scale and sample-dependence of unnormalized divergences. Experiments across synthetic and real-world deep learning settings demonstrate that our toolkit captures functional shifts in CNNs missed by geometric measures and robustly maps LLM genealogy even under distance saturation, offering a rigorous, topology-aware perspective that complements measures like CKA.


翻译:拓扑数据分析(TDA)为比较神经表征提供了一种基于原理的内在视角。然而,现有成对拓扑散度(例如RTD)受限于启发式的不对称性,且更关键的是其无界分数依赖于样本量,阻碍了可靠的跨场景基准测评。为解决这些挑战,我们开发了一个服务于结构精细诊断与鲁棒标准化评估这两类互补需求的统一拓扑工具包。首先,我们通过引入对称表征拓扑散度(SRTD)及其高效变体SRTD-lite,完善了RTD框架。除了解决先前变体的理论不对称性外,SRTD还将诊断信息整合为单一的、全面的交叉条形码特征。这使得能够精确定位结构差异,并在无需双向计算的额外开销下,作为有效的优化目标。其次,为了实现异构设置下的可靠基准测评,我们提出归一化拓扑相似性(NTS)。通过测量层次合并顺序的秩相关性,NTS产生一个介于-1和1之间的尺度不变度量,有效克服了未归一化散度的尺度依赖和样本依赖问题。在合成与真实深度学习场景下的实验表明,我们的工具包能够捕捉几何度量无法揭示的CNN功能转变,并能在距离饱和情况下鲁棒地映射LLM谱系,从而提供一种与CKA等方法互补的、基于拓扑理论的严谨视角。

0
下载
关闭预览

相关内容

图机器学习的核心原理:表征、鲁棒性与泛化性
因果强化学习的统一框架:综述、分类体系、算法与应用
专知会员服务
35+阅读 · 2025年12月24日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员