Conventional deep learning models embed data in Euclidean space $\mathbb{R}^d$, a poor fit for strictly hierarchical objects such as taxa, word senses, or file systems. We introduce van der Put Neural Networks (v-PuNNs), the first architecture whose neurons are characteristic functions of p-adic balls in $\mathbb{Z}_p$. Under our Transparent Ultrametric Representation Learning (TURL) principle every weight is itself a p-adic number, giving exact subtree semantics. A new Finite Hierarchical Approximation Theorem shows that a depth-K v-PuNN with $\sum_{j=0}^{K-1}p^{\,j}$ neurons universally represents any K-level tree. Because gradients vanish in this discrete space, we propose Valuation-Adaptive Perturbation Optimization (VAPO), with a fast deterministic variant (HiPaN-DS) and a moment-based one (HiPaN / Adam-VAPO). On three canonical benchmarks our CPU-only implementation sets new state-of-the-art: WordNet nouns (52,427 leaves) 99.96% leaf accuracy in 16 min; GO molecular-function 96.9% leaf / 100% root in 50 s; NCBI Mammalia Spearman $ρ= -0.96$ with true taxonomic distance. The learned metric is perfectly ultrametric (zero triangle violations), and its fractal and information-theoretic properties are analyzed. Beyond classification we derive structural invariants for quantum systems (HiPaQ) and controllable generative codes for tabular data (Tab-HiPaN). v-PuNNs therefore bridge number theory and deep learning, offering exact, interpretable, and efficient models for hierarchical data.


翻译:传统的深度学习模型将数据嵌入欧几里得空间 $\mathbb{R}^d$,这对于严格层次化的对象(如分类单元、词义或文件系统)而言适配性较差。我们引入了范德普特神经网络(v-PuNNs),这是首个神经元为 $\mathbb{Z}_p$ 中 p-adic 球特征函数的架构。在我们的透明超度量表示学习(TURL)原则下,每个权重本身就是一个 p-adic 数,从而提供精确的子树语义。一个新的有限层次逼近定理表明,一个深度为 K、具有 $\sum_{j=0}^{K-1}p^{\,j}$ 个神经元的 v-PuNN 可以普适地表示任何 K 层树。由于梯度在此离散空间中消失,我们提出了估值自适应扰动优化(VAPO),包含一个快速的确定性变体(HiPaN-DS)和一个基于矩的变体(HiPaN / Adam-VAPO)。在三个经典基准测试中,我们仅使用 CPU 的实现创造了新的最先进水平:WordNet 名词(52,427 个叶子节点)在 16 分钟内达到 99.96% 的叶子准确率;GO 分子功能在 50 秒内达到 96.9% 叶子节点 / 100% 根节点准确率;NCBI 哺乳动物谱系斯皮尔曼 $ρ= -0.96$,与真实分类学距离高度一致。学习到的度量是完全超度量的(三角违例为零),并分析了其分形和信息论特性。除了分类任务,我们还推导了量子系统的结构不变量(HiPaQ)以及表格数据的可控生成编码(Tab-HiPaN)。因此,v-PuNNs 架起了数论与深度学习之间的桥梁,为层次化数据提供了精确、可解释且高效的模型。

0
下载
关闭预览

相关内容

【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
专知会员服务
24+阅读 · 2020年9月15日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
专知会员服务
24+阅读 · 2020年9月15日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员