Link prediction is a cornerstone of the Web ecosystem, powering applications from recommendation and search to knowledge graph completion and collaboration forecasting. However, large-scale networks present unique challenges: they contain hundreds of thousands of nodes and edges with heterogeneous and overlapping community structures that evolve over time. Existing approaches face notable limitations: traditional graph neural networks struggle to capture global structural dependencies, while recent graph transformers achieve strong performance but incur quadratic complexity and lack interpretable latent structure. We propose \textbf{TGSBM} (Transformer-Guided Stochastic Block Model), a framework that integrates the principled generative structure of Overlapping Stochastic Block Models with the representational power of sparse Graph Transformers. TGSBM comprises three main components: (i) \emph{expander-augmented sparse attention} that enables near-linear complexity and efficient global mixing, (ii) a \emph{neural variational encoder} that infers structured posteriors over community memberships and strengths, and (iii) a \emph{neural edge decoder} that reconstructs links via OSBM's generative process, preserving interpretability. Experiments across diverse benchmarks demonstrate competitive performance (mean rank 1.6 under HeaRT protocol), superior scalability (up to $6\times$ faster training), and interpretable community structures. These results position TGSBM as a practical approach that strikes a balance between accuracy, efficiency, and transparency for large-scale link prediction.


翻译:链接预测是网络生态系统的基石,为从推荐和搜索到知识图谱补全与协作预测等应用提供支持。然而,大规模网络带来了独特的挑战:它们包含数十万个节点和边,具有随时间演化的异构且重叠的社区结构。现有方法面临显著局限:传统图神经网络难以捕捉全局结构依赖,而近期图Transformer虽能实现强劲性能,却存在二次复杂度且缺乏可解释的潜在结构。我们提出\textbf{TGSBM}(Transformer引导随机块模型),该框架将重叠随机块模型的原则性生成结构与稀疏图Transformer的表征能力相结合。TGSBM包含三个核心组件:(i) \emph{扩展增强稀疏注意力机制},实现近线性复杂度与高效全局混合;(ii) \emph{神经变分编码器},推断社区隶属关系与强度的结构化后验分布;(iii) \emph{神经边解码器},通过OSBM生成过程重构链接并保持可解释性。跨多个基准的实验结果表明,该方法具有竞争力(HeaRT协议下平均排名1.6)、卓越的可扩展性(训练速度提升达$6\times$)以及可解释的社区结构。这些成果使TGSBM成为在大规模链接预测中平衡准确性、效率与透明度的实用方法。

0
下载
关闭预览

相关内容

异质信息网络链路预测方法综述
专知会员服务
17+阅读 · 2024年8月8日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
异质信息网络链路预测方法综述
专知会员服务
17+阅读 · 2024年8月8日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员