Second-order optimizers can significantly accelerate large-scale training, yet their naive federated variants are often unstable or even diverge on non-IID data. We show that a key culprit is \emph{preconditioner drift}: client-side second-order training induces heterogeneous \emph{curvature-defined geometries} (i.e., preconditioner coordinate systems), and server-side model averaging updates computed under incompatible metrics, corrupting the global descent direction. To address this geometric mismatch, we propose \texttt{FedPAC}, a \emph{preconditioner alignment and correction} framework for reliable federated second-order optimization. \texttt{FedPAC} explicitly decouples parameter aggregation from geometry synchronization by: (i) \textbf{Alignment} (i.e.,aggregating local preconditioners into a global reference and warm-starting clients via global preconditioner); and (ii) \textbf{Correction} (i.e., steering local preconditioned updates using a global preconditioned direction to suppress long-term drift). We provide drift-coupled non-convex convergence guarantees with linear speedup under partial participation. Empirically, \texttt{FedPAC} consistently improves stability and accuracy across vision and language tasks, achieving up to $5.8\%$ absolute accuracy gain on CIFAR-100 with ViTs. Code is available at https://anonymous.4open.science/r/FedPAC-8B24.


翻译:二阶优化器能显著加速大规模训练,但其朴素的联邦变体在非独立同分布数据上往往不稳定甚至发散。我们发现一个关键原因是**预条件子漂移**:客户端二阶训练会诱导异质的**曲率定义几何结构**(即预条件子坐标系),而服务器端模型平均更新在不相容的度量下计算,从而破坏了全局下降方向。为解决这种几何失配问题,我们提出 **FedPAC**,一种用于可靠联邦二阶优化的**预条件子对齐与校正**框架。**FedPAC** 通过以下方式显式解耦参数聚合与几何同步:(i) **对齐**(即聚合局部预条件子为全局参考,并通过全局预条件子热启动客户端);以及 (ii) **校正**(即利用全局预条件方向引导局部预条件更新以抑制长期漂移)。我们在部分参与条件下提供了具有线性加速的漂移耦合非凸收敛保证。实证表明,**FedPAC** 在视觉和语言任务中持续提升稳定性与准确率,在 CIFAR-100 数据集上使用 ViT 模型实现了高达 $5.8\%$ 的绝对准确率提升。代码发布于 https://anonymous.4open.science/r/FedPAC-8B24。

0
下载
关闭预览

相关内容

多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
专知会员服务
16+阅读 · 2021年7月7日
专知会员服务
16+阅读 · 2020年7月27日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
大规模作战行动中的战术作战评估(研究论文)
专知会员服务
0+阅读 · 25分钟前
未来的海战无人自主系统
专知会员服务
0+阅读 · 41分钟前
美军多域作战现状分析:战略、概念还是幻想?
专知会员服务
0+阅读 · 54分钟前
无人机与反无人机系统(书籍)
专知会员服务
13+阅读 · 今天6:45
美陆军2026条令:安全与机动支援
专知会员服务
3+阅读 · 今天5:49
技术、多域威慑与海上战争(报告)
专知会员服务
8+阅读 · 4月13日
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
5+阅读 · 4月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员