We study a semi-asynchronous client-server perceptron trained via iterative parameter mixing (IPM-style averaging): clients run local perceptron updates and a server forms a global model by aggregating the updates that arrive in each communication round. The setting captures three system effects in federated and distributed deployments: (i) stale updates due to delayed model delivery and delayed application of client computations (two-sided version lag), (ii) partial participation (intermittent client availability), and (iii) imperfect communication on both downlink and uplink, modeled as effective zero-mean additive noise with bounded second moment. We introduce a server-side aggregation rule called staleness-bucket aggregation with padding that deterministically enforces a prescribed staleness profile over update ages without assuming any stochastic model for delays or participation. Under margin separability and bounded data radius, we prove a finite-horizon expected bound on the cumulative weighted number of perceptron mistakes over a given number of server rounds: the impact of delay appears only through the mean enforced staleness, whereas communication noise contributes an additional term that grows on the order of the square root of the horizon with the total noise energy. In the noiseless case, we show how a finite expected mistake budget yields an explicit finite-round stabilization bound under a mild fresh-participation condition.


翻译:本文研究一种通过迭代参数混合(IPM式平均)训练的半异步客户端-服务器感知机:客户端运行本地感知机更新,服务器通过聚合每轮通信中到达的更新形成全局模型。该设定捕捉了联邦与分布式部署中的三种系统效应:(i) 因模型交付延迟与客户端计算应用延迟导致的陈旧更新(双向版本滞后),(ii) 部分参与(客户端间歇可用性),(iii) 上下行链路的不完美通信(建模为具有有界二阶矩的零均值加性有效噪声)。我们提出一种称为带填充的陈旧性分桶聚合的服务器端聚合规则,该规则可在不假设任何延迟或参与随机模型的情况下,确定性强制实现预设的更新陈旧性分布。在间隔可分性与数据半径有界的条件下,我们证明了给定服务器轮数内感知机错误累积加权数的有限时域期望界:延迟的影响仅通过强制平均陈旧性体现,而通信噪声则贡献一个额外项,该项随噪声总能量的平方根与时域长度的增长而增加。在无噪声情形下,我们展示了在温和的新鲜参与条件下,有限的期望错误预算如何导出显式的有限轮次稳定界。

0
下载
关闭预览

相关内容

《分布式多智能体强化学习的编码》加州大学等
专知会员服务
55+阅读 · 2022年11月2日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
相关VIP内容
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
55+阅读 · 2022年11月2日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员