Recent years have witnessed rapid advances in graph representation learning, with the continuous embedding approach emerging as the dominant paradigm. However, such methods encounter issues regarding parameter efficiency, interpretability, and robustness. Thus, Quantized Graph Representation (QGR) learning has recently gained increasing interest, which represents the graph structure with discrete codes instead of conventional continuous embeddings. Given its analogous representation form to natural language, QGR also possesses the capability to seamlessly integrate graph structures with large language models (LLMs). As this emerging paradigm is still in its infancy yet holds significant promise, we undertake this thorough survey to promote its rapid future prosperity. We first present the background of the general quantization methods and their merits. Moreover, we provide an in-depth demonstration of current QGR studies from the perspectives of quantized strategies, training objectives, distinctive designs, knowledge graph quantization, and applications. We further explore the strategies for code dependence learning and integration with LLMs. At last, we give discussions and conclude future directions, aiming to provide a comprehensive picture of QGR and inspire future research.


翻译:近年来,图表示学习领域取得了快速发展,其中连续嵌入方法已成为主导范式。然而,此类方法在参数效率、可解释性和鲁棒性方面存在局限。因此,量化图表示学习近期受到越来越多的关注,该方法使用离散编码而非传统的连续嵌入来表示图结构。鉴于其与自然语言相似的表示形式,量化图表示也具备将图结构与大语言模型无缝集成的能力。由于这一新兴范式仍处于起步阶段但前景广阔,我们开展本次全面综述以促进其未来的快速发展。我们首先概述通用量化方法的背景及其优势。进而,我们从量化策略、训练目标、独特设计、知识图谱量化以及应用等角度,深入阐述当前量化图表示研究的最新进展。我们进一步探讨了编码依赖学习以及与LLMs集成的策略。最后,我们展开讨论并总结未来研究方向,旨在为量化图表示研究提供全景视图并启发后续探索。

0
下载
关闭预览

相关内容

连续表示方法、理论与应用:综述与前瞻
专知会员服务
23+阅读 · 2025年5月28日
《图强化学习在组合优化中的应用》综述
专知会员服务
60+阅读 · 2024年4月10日
《图表示学习》报告,McGill助理教授Hamilton讲授,79页ppt
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
图表示学习Graph Embedding综述
图与推荐
10+阅读 · 2020年3月23日
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
图神经网络综述:模型与应用
PaperWeekly
198+阅读 · 2018年12月26日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
综述 | 知识图谱向量化表示
PaperWeekly
19+阅读 · 2017年10月25日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
VIP会员
相关VIP内容
连续表示方法、理论与应用:综述与前瞻
专知会员服务
23+阅读 · 2025年5月28日
《图强化学习在组合优化中的应用》综述
专知会员服务
60+阅读 · 2024年4月10日
《图表示学习》报告,McGill助理教授Hamilton讲授,79页ppt
相关资讯
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
图表示学习Graph Embedding综述
图与推荐
10+阅读 · 2020年3月23日
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
图神经网络综述:模型与应用
PaperWeekly
198+阅读 · 2018年12月26日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
综述 | 知识图谱向量化表示
PaperWeekly
19+阅读 · 2017年10月25日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员