Recent work \cite{arifgroup} introduced Federated Proximal Gradient \textbf{(\texttt{FedProxGrad})} for solving non-convex composite optimization problems in group fair federated learning. However, the original analysis established convergence only to a \textit{noise-dominated neighborhood of stationarity}, with explicit dependence on a variance-induced noise floor. In this work, we provide an improved asymptotic convergence analysis for a generalized \texttt{FedProxGrad}-type analytical framework with inexact local proximal solutions and explicit fairness regularization. We call this extended analytical framework \textbf{DS \texttt{FedProxGrad}} (Decay Step Size \texttt{FedProxGrad}). Under a Robbins-Monro step-size schedule \cite{robbins1951stochastic} and a mild decay condition on local inexactness, we prove that $\liminf_{r\to\infty} \mathbb{E}[\|\nabla F(\mathbf{x}^r)\|^2] = 0$, i.e., the algorithm is asymptotically stationary and the convergence rate does not depend on a variance-induced noise floor.


翻译:近期工作 \cite{arifgroup} 引入了联邦近端梯度 \textbf{(\texttt{FedProxGrad})} 方法,用于求解群组公平联邦学习中的非凸复合优化问题。然而,原始分析仅证明了算法收敛到平稳点的\textit{噪声主导邻域},且明确依赖于方差诱导的噪声底限。本文针对具有不精确局部近端解和显式公平正则化的广义 \texttt{FedProxGrad} 型分析框架,提出了改进的渐近收敛性分析。我们将此扩展分析框架称为 \textbf{DS \texttt{FedProxGrad}}(衰减步长 \texttt{FedProxGrad})。在 Robbins-Monro 步长调度 \cite{robbins1951stochastic} 及局部不精确性满足温和衰减条件的假设下,我们证明了 $\liminf_{r\to\infty} \mathbb{E}[\|\nabla F(\mathbf{x}^r)\|^2] = 0$,即该算法具有渐近平稳性,且收敛速率不依赖于方差诱导的噪声底限。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年5月9日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月20日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年5月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员