Researchers are solving the challenges of spatial-temporal prediction by combining Federated Learning (FL) and graph models with respect to the constrain of privacy and security. In order to make better use of the power of graph model, some researchs also combine split learning(SL). However, there are still several issues left unattended: 1) Clients might not be able to access the server during inference phase; 2) The graph of clients designed manually in the server model may not reveal the proper relationship between clients. This paper proposes a new GNN-oriented split federated learning method, named node {\bfseries M}asking and {\bfseries M}ulti-granularity {\bfseries M}essage passing-based Federated Graph Model (M$^3$FGM) for the above issues. For the first issue, the server model of M$^3$FGM employs a MaskNode layer to simulate the case of clients being offline. We also redesign the decoder of the client model using a dual-sub-decoders structure so that each client model can use its local data to predict independently when offline. As for the second issue, a new GNN layer named Multi-Granularity Message Passing (MGMP) layer enables each client node to perceive global and local information. We conducted extensive experiments in two different scenarios on two real traffic datasets. Results show that M$^3$FGM outperforms the baselines and variant models, achieves the best results in both datasets and scenarios.


翻译:摘要:研究者们正通过结合联邦学习与图模型,在隐私和安全约束下解决时空预测的挑战。为更好地发挥图模型的能力,部分研究还引入了分割学习。然而,仍存在若干未解决的问题:1)推理阶段客户端可能无法访问服务器;2)服务器模型中人工设计的客户端图可能无法揭示客户端间的真实关联。本文针对上述问题提出一种新的面向图神经网络的分割联邦学习方法,即基于节点掩码与多粒度消息传递的联邦图模型(M³FGM)。针对第一个问题,M³FGM的服务端模型采用MaskNode层来模拟客户端离线场景,同时利用双子解码器结构重新设计客户端模型的解码器,使得每个客户端模型在离线时可独立利用本地数据进行预测。针对第二个问题,本文提出一种名为多粒度消息传递(MGMP)的新型图神经网络层,使每个客户端节点能够感知全局与局部信息。我们在两个真实交通数据集上针对两种不同场景开展了大量实验。结果表明,M³FGM在性能上优于基线模型与变体模型,在两个数据集和场景中均取得了最佳结果。

0
下载
关闭预览

相关内容

专知会员服务
110+阅读 · 2020年12月22日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月27日
Arxiv
10+阅读 · 2021年3月30日
Interest-aware Message-Passing GCN for Recommendation
Arxiv
12+阅读 · 2021年2月19日
VIP会员
最新内容
AUTOLAB:86亿Token实测前沿模型的长程自动科研能力
乌克兰战场背后的新武器
专知会员服务
4+阅读 · 今天4:55
基于博弈论的陆军人机协同(长文报告)
专知会员服务
10+阅读 · 今天1:54
美国陆军航空兵:以愿景引领转型
专知会员服务
6+阅读 · 今天1:38
《多域战场上反制小型无人机系统》150页
专知会员服务
16+阅读 · 6月11日
战场人工智能:增强陆地作战能力的发现与要求
相关VIP内容
专知会员服务
110+阅读 · 2020年12月22日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员