Previous work has established that neural network-based node embeddings return different outcomes when trained with identical parameters on the same dataset, just from using different training seeds. Yet, it has not been thoroughly analyzed how key hyperparameters such as embedding dimension could impact this instability. In this work, we investigate how varying the dimensionality of node embeddings influences both their stability and downstream performance. We systematically evaluate five widely used methods -- ASNE, DGI, GraphSAGE, node2vec, and VERSE -- across multiple datasets and embedding dimensions. We assess stability from both a representational perspective and a functional perspective, alongside performance evaluation. Our results show that embedding stability varies significantly with dimensionality, but we observe different patterns across the methods we consider: while some approaches, such as node2vec and ASNE, tend to become more stable with higher dimensionality, other methods do not exhibit the same trend. Moreover, we find that maximum stability does not necessarily align with optimal task performance. These findings highlight the importance of carefully selecting embedding dimension, and provide new insights into the trade-offs between stability, performance, and computational effectiveness in graph representation learning.


翻译:先前研究已证实,基于神经网络的节点嵌入方法在使用相同参数与数据集进行训练时,仅因采用不同随机种子就会产生不同的嵌入结果。然而,嵌入维度等关键超参数对这类不稳定性究竟产生何种影响仍缺乏深入分析。本研究通过系统评估五种主流方法——ASNE、DGI、GraphSAGE、node2vec和VERSE——在多个数据集与不同嵌入维度下的表现,深入探究维度变化如何影响嵌入稳定性及下游任务性能。我们从表征视角与功能视角双维度评估稳定性,同时结合性能进行综合评价。实验结果表明,嵌入稳定性随维度变化呈现显著差异,但不同方法展现出迥异的规律:node2vec与ASNE等方法随维度提升趋于稳定,而其他方法则未呈现这一趋势。此外,研究发现最大稳定性并不必然对应最优任务性能。这些发现凸显了审慎选择嵌入维度的重要性,并为图表示学习中稳定性、性能与计算效率之间的权衡提供了全新见解。

0
下载
关闭预览

相关内容

《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
图嵌入模型综述
专知会员服务
93+阅读 · 2022年1月17日
图节点嵌入(Node Embeddings)概述,9页pdf
专知会员服务
40+阅读 · 2020年8月22日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
10+阅读 · 2024年3月11日
Arxiv
10+阅读 · 2023年8月13日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
5+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员