This paper addresses the problem of robust estimation in gossip algorithms over arbitrary communication graphs. Gossip algorithms are fully decentralized, relying only on local neighbor-to-neighbor communication, making them well-suited for situations where communication is constrained. A fundamental challenge in existing mean-based gossip algorithms is their vulnerability to malicious or corrupted nodes. In this paper, we show that an outlier-robust mean can be computed by globally estimating a robust statistic. More specifically, we propose a novel gossip algorithm for rank estimation, referred to as \textsc{GoRank}, and leverage it to design a gossip procedure dedicated to trimmed mean estimation, coined \textsc{GoTrim}. In addition to a detailed description of the proposed methods, a key contribution of our work is a precise convergence analysis: we establish an $\mathcal{O}(1/t)$ rate for rank estimation and an $\mathcal{O}(1 / {t})$ rate for trimmed mean estimation, where by $t$ is meant the number of iterations. Moreover, we provide a breakdown point analysis of \textsc{GoTrim}. We empirically validate our theoretical results through experiments on diverse network topologies, data distributions and contamination schemes.


翻译:本文研究了任意通信图上的Gossip算法中的鲁棒估计问题。Gossip算法完全去中心化,仅依赖局部邻居节点间的通信,因此特别适用于通信受限的场景。现有基于均值的Gossip算法面临的一个根本性挑战在于其对恶意或损坏节点的脆弱性。本文证明,通过全局估计鲁棒统计量可以计算出抗异常值的均值。具体而言,我们提出了一种用于秩估计的新型Gossip算法(称为\textsc{GoRank}),并利用该算法设计了专用于截尾均值估计的Gossip流程(命名为\textsc{GoTrim})。除了对所提方法的详细描述外,本研究的关键贡献在于精确的收敛性分析:我们确立了秩估计的$\mathcal{O}(1/t)$收敛速率与截尾均值估计的$\mathcal{O}(1 / {t})$收敛速率,其中$t$表示迭代次数。此外,我们还提供了\textsc{GoTrim}的崩溃点分析。通过在多样化网络拓扑、数据分布和污染方案上的实验,我们对理论结果进行了实证验证。

0
下载
关闭预览

相关内容

【博士论文】对抗鲁棒性深度学习算法
专知会员服务
16+阅读 · 2025年9月29日
【MIT博士论文】理解与提升机器学习模型的表征鲁棒性
专知会员服务
29+阅读 · 2024年8月26日
【斯坦福大学博士论文】鲁棒学习:信息论和算法,88页pdf
专知会员服务
44+阅读 · 2022年11月13日
【2022新书】算法高维鲁棒统计,296页pdf与98页ppt
专知会员服务
51+阅读 · 2022年10月21日
【ICML2022】鲁棒强化学习的策略梯度法
专知会员服务
38+阅读 · 2022年5月21日
专知会员服务
144+阅读 · 2021年3月17日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
用PyTorch实现各种GANs(附论文和代码地址)
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月21日
Arxiv
0+阅读 · 1月11日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员