Traditional Federated Domain Generalization (FedDG) methods focus on learning domain-invariant features or adapting to unseen target domains, often overlooking the unique knowledge embedded within the source domain, especially in strictly isolated federated learning environments. Through experimentation, we discovered a counterintuitive phenomenon: features learned from a complete source domain have superior generalization capabilities compared to those learned directly from the target domain. This insight leads us to propose the Federated Source Domain Awareness Framework (FedSDAF), the first systematic approach to enhance FedDG by leveraging source domain-aware features. FedSDAF employs a dual-adapter architecture that decouples "local expertise" from "global generalization consensus." A Domain-Aware Adapter, retained locally, extracts and protects the unique discriminative knowledge of each source domain, while a Domain-Invariant Adapter, shared across clients, builds a robust global consensus. To enable knowledge exchange, we introduce a Bidirectional Knowledge Distillation mechanism that facilitates efficient dialogue between the adapters. Extensive experiments on four benchmark datasets (OfficeHome, PACS, VLCS, and DomainNet) show that FedSDAF significantly outperforms existing FedDG methods. The source code is available at https://github.com/pizzareapers/FedSDAF.


翻译:传统的联邦域泛化方法侧重于学习域不变特征或适应未见目标域,往往忽视了源域内蕴含的独特知识,尤其是在严格隔离的联邦学习环境中。通过实验,我们发现了一个反直觉的现象:与直接从目标域学习的特征相比,从完整源域学习的特征具有更优越的泛化能力。这一洞见促使我们提出了联邦源域感知框架,这是首个通过利用源域感知特征来增强联邦域泛化的系统性方法。FedSDAF采用双适配器架构,将“局部专业知识”与“全局泛化共识”解耦。一个本地保留的域感知适配器提取并保护每个源域独特的判别性知识,而一个跨客户端共享的域不变适配器则构建稳健的全局共识。为了实现知识交换,我们引入了双向知识蒸馏机制,以促进适配器之间的高效对话。在四个基准数据集(OfficeHome、PACS、VLCS和DomainNet)上的大量实验表明,FedSDAF显著优于现有的联邦域泛化方法。源代码可在 https://github.com/pizzareapers/FedSDAF 获取。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】在测试时学习泛化
专知会员服务
12+阅读 · 2025年6月3日
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
21+阅读 · 2023年10月30日
专知会员服务
26+阅读 · 2021年10月20日
专知会员服务
42+阅读 · 2021年8月12日
【CVPR2021】DAML:针对开放领域泛化的领域增广元学习方法
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
58+阅读 · 2021年3月31日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
0+阅读 · 今天15:20
美空军新型反无人机部队初探
专知会员服务
4+阅读 · 今天5:45
《防空交战流程的概率建模研究》
专知会员服务
6+阅读 · 今天5:04
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
5+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关资讯
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员