Federated learning (FL) enables the collaborative training of deep neural networks across decentralized data archives (i.e., clients), where each client stores data locally and only shares model updates with a central server. This makes FL a suitable learning paradigm for remote sensing (RS) image classification tasks, where data centralization may be restricted due to legal and privacy constraints. However, a key challenge in applying FL to RS tasks is the communication overhead caused by the frequent exchange of large model updates between clients and the central server. To address this issue, in this paper we propose a novel strategy (denoted as FedX) that uses explanation-guided pruning to reduce communication overhead by minimizing the size of the transmitted models without compromising performance. FedX leverages backpropagation-based explanation methods to estimate the task-specific importance of model components and prunes the least relevant ones at the central server. The resulting sparse global model is then sent to clients, substantially reducing communication overhead. We evaluate FedX on multi-label scene classification using the BigEarthNet-S2 dataset and single-label scene classification using the EuroSAT dataset. Experimental results show the success of FedX in significantly reducing the number of shared model parameters while enhancing the generalization capability of the global model, compared to both unpruned model and state-of-the-art pruning methods. The code of FedX will be available at https://git.tu-berlin.de/rsim/FedX.


翻译:联邦学习(FL)使得深度神经网络能够在去中心化的数据档案(即客户端)上进行协同训练,其中每个客户端在本地存储数据,仅与中央服务器共享模型更新。这使得FL成为遥感(RS)图像分类任务的一种合适的学习范式,因为在遥感任务中,由于法律和隐私限制,数据集中化可能受到制约。然而,将FL应用于RS任务的一个关键挑战是客户端与中央服务器之间频繁交换大型模型更新所带来的通信开销。为解决此问题,本文提出了一种新颖的策略(记为FedX),该策略利用解释引导的剪枝来减少通信开销,其方法是在不影响性能的前提下最小化传输模型的规模。FedX利用基于反向传播的解释方法来估计模型组件在特定任务中的重要性,并在中央服务器剪枝最不相关的组件。随后,将得到的稀疏全局模型发送给客户端,从而显著降低通信开销。我们在使用BigEarthNet-S2数据集的多标签场景分类任务以及使用EuroSAT数据集的单标签场景分类任务上评估了FedX。实验结果表明,与未剪枝的模型以及最先进的剪枝方法相比,FedX成功地显著减少了共享模型参数的数量,同时增强了全局模型的泛化能力。FedX的代码将在 https://git.tu-berlin.de/rsim/FedX 提供。

0
下载
关闭预览

相关内容

【剑桥大学博士论文】联邦学习效率原则研究
专知会员服务
12+阅读 · 2025年9月6日
【剑桥大学博士论文】联邦自监督学习,141页pdf
专知会员服务
19+阅读 · 2024年6月15日
【MIT博士论文】联邦学习实用方法,143页pdf
专知会员服务
66+阅读 · 2022年9月24日
【2022新书】联邦学习:方法和应用的综合概述
专知会员服务
149+阅读 · 2022年7月14日
亚马逊最新《联邦学习》简明综述
专知会员服务
85+阅读 · 2022年2月6日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员