Topological deep learning has emerged for modeling higher-order relational structures beyond pairwise interactions that standard graph neural networks fail to capture. Although combinatorial complexes offer a unified topological framework, most existing topological deep learning methods rely on local message passing via attention mechanisms, which incur quadratic complexity and remain low-dimensional, limiting scalability and rank-aware information aggregation in higher-order complexes.We propose Combinatorial Complex Mamba (CCMamba), the first unified mamba-based neural framework for learning on combinatorial complexes. CCMamba reformulates message passing as a selective state-space modeling problem by organizing multi-rank incidence relations into structured sequences processed by rank-aware state-space models. This enables adaptive, directional, and long range information propagation in linear time without self attention. We further establish the theoretical analysis that the expressive power upper-bound of CCMamba message passing is the 1-Weisfeiler-Lehman test. Experiments on graph, hypergraph, and simplicial benchmarks demonstrate that CCMamba consistently outperforms existing methods while exhibiting improved scalability and robustness to depth.


翻译:拓扑深度学习已兴起用于建模超越标准图神经网络无法捕捉的成对交互的高阶关系结构。尽管组合复形提供了一个统一的拓扑框架,但大多数现有的拓扑深度学习方法依赖于通过注意力机制进行的局部消息传递,这带来了二次复杂度且保持低维性,限制了高阶复形中的可扩展性和秩感知信息聚合。我们提出了组合复形Mamba(CCMamba),这是首个基于Mamba的统一神经框架,用于在组合复形上进行学习。CCMamba通过将多秩关联关系组织成由秩感知状态空间模型处理的结构化序列,将消息传递重新表述为一个选择性状态空间建模问题。这使得无需自注意力即可在线性时间内实现自适应的、定向的和长程的信息传播。我们进一步建立了理论分析,证明CCMamba消息传递的表达力上限是1-Weisfeiler-Lehman测试。在图、超图和单纯复形基准上的实验表明,CCMamba在展现改进的可扩展性和对深度的鲁棒性的同时,始终优于现有方法。

0
下载
关闭预览

相关内容

《图Mamba》最新综述,探索图学习中的状态空间模型
专知会员服务
31+阅读 · 2024年12月26日
图深度学习在时间序列处理中的应用:预测、重构与分析
专知会员服务
34+阅读 · 2024年11月30日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关VIP内容
《图Mamba》最新综述,探索图学习中的状态空间模型
专知会员服务
31+阅读 · 2024年12月26日
图深度学习在时间序列处理中的应用:预测、重构与分析
专知会员服务
34+阅读 · 2024年11月30日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员