Monotonicity has been a long-running architectural inductive bias for neural networks, motivated by tabular, scientific, and economic settings where outputs are known to respond monotonically to certain inputs. Existing approaches are MLP- or flow-based and lack per-edge functional transparency; the only Kolmogorov--Arnold Network (KAN) variant with monotonicity, MonoKAN, enforces the constraint only on a restricted parameter subset and requires a projection-style training procedure. We close this gap with \textbf{MKAN}, a KAN with hard monotonicity guaranteed for \emph{all} parameter values via exponential reparameterization of B-spline coefficients, positive edge weights, and a monotone base activation. Training reduces to standard unconstrained gradient descent. Our headline theoretical contribution is a \emph{representation-cost} theorem: any $C^K, K >0$ feature extractor inducing a ball-shaped semantic-neighborhood partition admits a monotone realization of the equivalent neighborhood structure at $N' = N^* + k \le 2N^*$, where $k$ is the number of non-monotone coordinates of the original. The bound is architecture-agnostic and gives a principled sizing rule for monotone encoders. Empirically, MKAN is competitive with state-of-the-art monotone NNs on the SMM/ICML-2024 benchmark while being the only method that combines hard unconstrained monotonicity with KAN's per-edge functional transparency; the $2N^*$ prediction is validated in a self-supervised feature-size sweep on four real datasets, and on a controlled monotone-generative dataset MKAN recovers ground-truth factors with substantially higher Spearman alignment than KAN, MLP, and linear baselines.


翻译:摘要:单调性一直是神经网络中长期存在的架构性归纳偏置,其动机源于表格、科学及经济场景中输出已知对特定输入呈现单调响应。现有方法多基于MLP或流模型,缺乏逐边功能透明性;唯一具有单调性的Kolmogorov-Arnold网络变体MonoKAN仅在受限参数子集上施加约束,并需要投影式训练流程。我们通过**MKAN**填补了这一空白——该KAN通过B样条系数的指数重参数化、正边缘权重及单调基激活函数,对所有参数值实现硬单调性保证。训练简化为标准无约束梯度下降。我们的核心理论贡献是一项**表征成本定理**:任意诱导球状语义邻域划分的$C^K(K>0)$特征提取器,均可实现等价的单调邻域结构,其规模$N'=N^*+k\leq 2N^*$,其中$k$为原始非单调坐标数量。该界限与架构无关,为单调编码器提供了原则性的规模确定规则。实验表明,MKAN在SMM/ICML-2024基准测试中与最先进单调神经网络水平相当,同时是唯一将硬无约束单调性与KAN逐边功能透明性结合的方法;在四个真实数据集上的自监督特征规模扫描验证了$2N^*$预测,而在受控单调生成数据集上,MKAN恢复真实因子的Spearman一致性显著优于KAN、MLP及线性基线。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】图神经网络的归纳偏差
专知会员服务
19+阅读 · 2024年5月23日
异质信息网络分析与应用综述,软件学报-北京邮电大学
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【阿姆斯特丹博士论文】图神经网络的归纳偏差
专知会员服务
19+阅读 · 2024年5月23日
异质信息网络分析与应用综述,软件学报-北京邮电大学
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员