Federated Domain Generalization (FDG) aims to collaboratively train a global model across distributed clients that can generalize well on unseen domains. However, existing FDG methods typically struggle with cross-client data heterogeneity and incur significant communication and computation overhead. To address these challenges, this paper presents a new FDG framework, dubbed FaST-PT, which facilitates local feature augmentation and efficient unseen domain adaptation in a distributed manner. First, we propose a lightweight Multi-Modal Style Transfer (MST) method to transform image embedding under text supervision, which could expand the training data distribution and mitigate domain shift. We then design a dual-prompt module that decomposes the prompt into global and domain prompts. Specifically, global prompts capture general knowledge from augmented embedding across clients, while domain prompts capture domain-specific knowledge from local data. Besides, Domain-aware Prompt Generation (DPG) is introduced to adaptively generate suitable prompts for each sample, which facilitates unseen domain adaptation through knowledge fusion. Extensive experiments on four cross-domain benchmark datasets, e.g., PACS and DomainNet, demonstrate the superior performance of FaST-PT over SOTA FDG methods such as FedDG-GA and DiPrompt. Ablation studies further validate the effectiveness and efficiency of FaST-PT.


翻译:联邦域泛化旨在通过分布式客户端协同训练一个能够在未见域上良好泛化的全局模型。然而,现有联邦域泛化方法通常难以应对跨客户端数据异质性,并产生显著的通信与计算开销。为应对这些挑战,本文提出一种名为FaST-PT的新型联邦域泛化框架,以分布式方式实现局部特征增强与高效未见域适应。首先,我们提出一种轻量级多模态风格迁移方法,在文本监督下转换图像嵌入,从而扩展训练数据分布并缓解域偏移。随后,我们设计了一个双提示模块,将提示分解为全局提示与域提示。具体而言,全局提示从跨客户端增强嵌入中捕获通用知识,而域提示则从本地数据中捕获域特定知识。此外,本文引入域感知提示生成机制,为每个样本自适应生成合适的提示,通过知识融合促进未见域适应。在PACS、DomainNet等四个跨域基准数据集上的大量实验表明,FaST-PT相较于FedDG-GA、DiPrompt等先进联邦域泛化方法具有更优性能。消融实验进一步验证了FaST-PT的有效性与高效性。

0
下载
关闭预览

相关内容

模型联邦网络构建及示范应用
专知会员服务
11+阅读 · 2025年7月31日
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
《多模态适应与泛化》进展综述:从传统方法到基础模型
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
21+阅读 · 2023年10月30日
【KDD2023】对领域泛化的异质性进行定量度量和对比分析
专知会员服务
24+阅读 · 2023年5月29日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
专知会员服务
26+阅读 · 2021年10月20日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
模型联邦网络构建及示范应用
专知会员服务
11+阅读 · 2025年7月31日
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
《多模态适应与泛化》进展综述:从传统方法到基础模型
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
21+阅读 · 2023年10月30日
【KDD2023】对领域泛化的异质性进行定量度量和对比分析
专知会员服务
24+阅读 · 2023年5月29日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
专知会员服务
26+阅读 · 2021年10月20日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员