Federated Neural Architecture Search (FedNAS) aims to automate model design for privacy-preserving Federated Learning (FL) but currently faces two critical bottlenecks: unguided supernet training that yields suboptimal models, and costly multi-hour pipelines for post-training subnet discovery. We introduce DeepFedNAS, a novel, two-phase framework underpinned by a principled, multi-objective fitness function that synthesizes mathematical network design with architectural heuristics. Enabled by a re-engineered supernet, DeepFedNAS introduces Federated Pareto Optimal Supernet Training, which leverages a pre-computed Pareto-optimal cache of high-fitness architectures as an intelligent curriculum to optimize shared supernet weights. Subsequently, its Predictor-Free Search Method eliminates the need for costly accuracy surrogates by utilizing this fitness function as a direct, zero-cost proxy for accuracy, enabling on-demand subnet discovery in mere seconds. DeepFedNAS achieves state-of-the-art accuracy (e.g., up to 1.21% absolute improvement on CIFAR-100), superior parameter and communication efficiency, and a substantial ~61x speedup in total post-training search pipeline time. By reducing the pipeline from over 20 hours to approximately 20 minutes (including initial cache generation) and enabling 20-second individual subnet searches, DeepFedNAS makes hardware-aware FL deployments instantaneous and practical. The complete source code and experimental scripts are available at: https://github.com/bostankhan6/DeepFedNAS


翻译:联邦神经架构搜索旨在为隐私保护的联邦学习自动化模型设计,但目前面临两大关键瓶颈:无引导的超网训练导致次优模型,以及训练后子网发现流程耗时长达数小时。本文提出DeepFedNAS,这是一个基于原则性多目标适应度函数构建的新型两阶段框架,该函数融合了数学化网络设计与架构启发式规则。通过重构的超网,DeepFedNAS提出联邦帕累托最优超网训练方法,利用预计算的高适应度架构帕累托最优缓存作为智能课程来优化共享超网权重。随后,其无预测器搜索方法通过将该适应度函数直接作为零成本精度代理,消除了对昂贵精度替代模型的需求,实现数秒内按需子网发现。DeepFedNAS在CIFAR-100等数据集上取得最高达1.21%的绝对精度提升,具备更优的参数与通信效率,并将训练后搜索流程总时间加速约61倍。通过将整体流程从超过20小时缩减至约20分钟(含初始缓存生成),并实现20秒级单次子网搜索,DeepFedNAS使硬件感知的联邦学习部署具备即时性与实用性。完整源代码与实验脚本发布于:https://github.com/bostankhan6/DeepFedNAS

0
下载
关闭预览

相关内容

互联网
最新,DeepSeek-R1论文登上Nature封面,附83页补充材料
专知会员服务
27+阅读 · 2025年9月18日
从DeepSeek看国产AI的“后发优势”
专知会员服务
29+阅读 · 2025年2月28日
《基于神经网络评估的军事模拟深度限制搜索》最新100页
专知会员服务
29+阅读 · 2024年11月15日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
61+阅读 · 2020年5月9日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
DeepMind开源最牛无监督学习BigBiGAN预训练模型
新智元
10+阅读 · 2019年10月10日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
【深度强化学习】深度强化学习揭秘
产业智能官
21+阅读 · 2017年11月13日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员