Edge services increasingly use federated learning to personalize on-device models while keeping sensitive data local. In practice, deployments must handle heterogeneity in both client resources and local data distributions. Model-heterogeneous federated learning lowers client cost by allowing each client to train a subnet of a shared supernet, but most subnet-allocation policies are driven by device constraints and do not explicitly account for statistical heterogeneity. This paper proposes Heterogeneity-Aware Subnet Allocation (HASA), a train-only rule that assigns subnet widths based on client heterogeneity scores computed from local training data while enforcing a fixed size-weighted compute budget. This design enables budget-matched comparisons with alternative allocation policies. On an article-title next-word prediction benchmark with seven clients, HASA improves unweighted mean client test accuracy over uniform allocation across 10 matched seeds, increasing mean client test accuracy from 13.82 percent to 14.32 percent, and improves worst-client accuracy on average. In a matched-budget comparison with representative partial-training baselines, HASA achieves the strongest worst-client and tail-client accuracy on this benchmark. A directionality ablation shows that assigning smaller subnets to more heterogeneous clients degrades both mean and tail performance. A cross-domain image-classification study further shows that the effectiveness of heterogeneity-aware allocation depends on how well the heterogeneity score reflects clients' need for additional model width.


翻译:边缘服务日益采用联邦学习来在保护敏感数据本地化的同时,个性化设备端模型。实际部署中必须同时处理客户端资源与本地数据分布的异构性。模型异构联邦学习通过允许每个客户端训练共享超网的子网来降低客户端开销,但现有子网分配策略主要受设备约束驱动,未显式考虑统计异构性。本文提出异构感知子网分配策略(HASA),这是一种仅训练时生效的规则,基于从本地训练数据计算的客户端异构性得分分配子网宽度,同时强制执行固定的大小加权计算预算。该设计使得与替代分配策略的预算匹配比较成为可能。在包含七个客户端的文章标题下一词预测基准测试中,HASA在10个匹配随机种子上的未加权平均客户端测试准确率较均匀分配提升0.5个百分点(从13.82%提升至14.32%),且平均改善了最差客户端准确率。在与代表性部分训练基线方法的匹配预算比较中,HASA在该基准测试中实现了最强的最差客户端与尾端客户端准确率。方向性消融实验表明,将更小子网分配给异构性更强的客户端会降低平均与尾端性能。跨领域图像分类研究进一步表明,异构感知分配的有效性取决于异构性得分是否能准确反映客户端对额外模型宽度的需求。

0
下载
关闭预览

相关内容

异构联邦学习在无人系统中的研究综述
专知会员服务
12+阅读 · 2025年5月25日
联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
定向能反无人机系统最新发展动态
专知会员服务
0+阅读 · 31分钟前
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
1+阅读 · 48分钟前
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员