Federated Domain Generalization (FDG) aims to collaboratively train a global model across distributed clients that can generalize well on unseen domains. However, existing FDG methods typically struggle with cross-client data heterogeneity and incur significant communication and computation overhead. To address these challenges, this paper presents a new FDG framework, dubbed FaST-PT, which facilitates local feature augmentation and efficient unseen domain adaptation in a distributed manner. First, we propose a lightweight Multi-Modal Style Transfer (MST) method to transform image embedding under text supervision, which could expand the training data distribution and mitigate domain shift. We then design a dual-prompt module that decomposes the prompt into global and domain prompts. Specifically, global prompts capture general knowledge from augmented embedding across clients, while domain prompts capture domain-specific knowledge from local data. Besides, Domain-aware Prompt Generation (DPG) is introduced to adaptively generate suitable prompts for each sample, which facilitates unseen domain adaptation through knowledge fusion. Extensive experiments on four cross-domain benchmark datasets, e.g., PACS and DomainNet, demonstrate the superior performance of FaST-PT over SOTA FDG methods such as FedDG-GA and DiPrompt. Ablation studies further validate the effectiveness and efficiency of FaST-PT.


翻译:联邦域泛化旨在通过分布式客户端协同训练一个能够在未见域上良好泛化的全局模型。然而,现有联邦域泛化方法通常难以应对跨客户端数据异质性,并产生显著的通信与计算开销。为应对这些挑战,本文提出一种名为FaST-PT的新型联邦域泛化框架,以分布式方式实现局部特征增强与高效未见域适应。首先,我们提出一种轻量级多模态风格迁移方法,在文本监督下转换图像嵌入,从而扩展训练数据分布并缓解域偏移。随后,我们设计了一个双提示模块,将提示分解为全局提示与域提示。具体而言,全局提示从跨客户端增强嵌入中捕获通用知识,而域提示则从本地数据中捕获域特定知识。此外,本文引入域感知提示生成机制,为每个样本自适应生成合适的提示,通过知识融合促进未见域适应。在PACS、DomainNet等四个跨域基准数据集上的大量实验表明,FaST-PT相较于FedDG-GA、DiPrompt等先进联邦域泛化方法具有更优性能。消融实验进一步验证了FaST-PT的有效性与高效性。

0
下载
关闭预览

相关内容

【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员