Continual Graph Learning (CGL) enables models to incrementally learn from streaming graph-structured data without forgetting previously acquired knowledge. Experience replay is a common solution that reuses a subset of past samples during training. However, it may lead to information loss and privacy risks. Generative replay addresses these concerns by synthesizing informative subgraphs for rehearsal. Existing generative replay approaches often rely on graph condensation via distribution matching, which faces two key challenges: (1) the use of random feature encodings may fail to capture the characteristic kernel of the discrepancy metric, weakening distribution alignment; and (2) matching over a fixed small subgraph cannot guarantee low risk on previous tasks, as indicated by domain adaptation theory. To overcome these limitations, we propose an Adversarial Condensation based Generative Replay (ACGR) framwork. It reformulates graph condensation as a min-max optimization problem to achieve better distribution matching. Moreover, instead of learning a single subgraph, we learn its distribution, allowing for the generation of multiple samples and improved empirical risk minimization. Experiments on three benchmark datasets demonstrate that ACGR outperforms existing methods in both accuracy and stability.


翻译:连续图学习能够使模型逐步从流式图结构数据中学习,同时不遗忘先前获得的知识。经验回放是一种常用解决方案,在训练过程中重复使用部分历史样本。然而,这可能导致信息丢失和隐私风险。生成式回放通过合成信息性子图进行重演来应对这些问题。现有生成式回放方法通常依赖于通过分布匹配的图压缩技术,但面临两个关键挑战:(1) 使用随机特征编码可能无法捕捉差异度量的特征核,从而削弱分布对齐效果;(2) 根据领域适应理论,在固定小子图上进行匹配无法确保对先前任务具有低风险。为克服这些局限,我们提出一种基于对抗压缩的生成式回放框架。该框架将图压缩重新表述为极小极大优化问题,以实现更优的分布匹配。此外,我们不再学习单一子图,而是学习其分布,从而能够生成多个样本并改进经验风险最小化。在三个基准数据集上的实验表明,该方法在准确性和稳定性方面均优于现有方法。

0
下载
关闭预览

相关内容

图终身学习:综述
专知会员服务
31+阅读 · 2024年5月20日
《图持续学习》综述
专知会员服务
33+阅读 · 2024年2月20日
【WWW2023教程】持续图学习教程,106页pdf
专知会员服务
58+阅读 · 2023年5月4日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
74+阅读 · 2021年9月25日
最新《图机器学习》综述论文,19页pdf
专知会员服务
152+阅读 · 2021年5月5日
通俗易懂!《图机器学习导论》附69页PPT
专知
55+阅读 · 2019年12月27日
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
16+阅读 · 2023年6月6日
Arxiv
58+阅读 · 2021年5月3日
Arxiv
38+阅读 · 2020年3月10日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
0+阅读 · 28分钟前
21世纪的无人机战争
专知会员服务
1+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
图终身学习:综述
专知会员服务
31+阅读 · 2024年5月20日
《图持续学习》综述
专知会员服务
33+阅读 · 2024年2月20日
【WWW2023教程】持续图学习教程,106页pdf
专知会员服务
58+阅读 · 2023年5月4日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
74+阅读 · 2021年9月25日
最新《图机器学习》综述论文,19页pdf
专知会员服务
152+阅读 · 2021年5月5日
相关论文
Arxiv
16+阅读 · 2023年6月6日
Arxiv
58+阅读 · 2021年5月3日
Arxiv
38+阅读 · 2020年3月10日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员