Motivated by the increasing demand for data security in decentralized federated learning (FL) and stochastic optimization, we formulate and investigate the problem of information-theoretic \emph{decentralized secure aggregation} (DSA). Specifically, we consider a network of $K$ interconnected users, each holding a private input, representing, for example, local model updates in FL, who aim to simultaneously compute the sum of all inputs while satisfying the security requirement that no user, even when colluding with up to $T$ others, learns anything beyond the intended sum. We characterize the optimal rate region, which specifies the minimum achievable communication and secret key rates for DSA. In particular, we show that to securely compute one bit of the desired input sum, each user must (i) transmit at least one bit to all other users, (ii) hold at least one bit of secret key, and (iii) all users must collectively hold no fewer than $K - 1$ independent key bits. Our result establishes the fundamental performance limits of DSA and offers insights into the design of provably secure and communication-efficient protocols for distributed learning systems.


翻译:受去中心化联邦学习与随机优化中对数据安全性日益增长的需求驱动,我们提出并研究了信息论安全的去中心化聚合(DSA)问题。具体而言,我们考虑一个由$K$个互联用户组成的网络,每个用户持有私有输入(例如联邦学习中的局部模型更新),其目标是在满足以下安全要求的同时并行计算所有输入的总和:即任何用户即便与最多$T$个其他用户合谋,也无法获知除预定总和之外的任何信息。我们刻画了DSA的最优速率区域,该区域定义了可实现的最小通信速率与密钥速率。特别地,研究表明:为安全计算一位目标输入总和,每个用户必须(i)向所有其他用户传输至少一位信息,(ii)持有至少一位密钥,且(iii)所有用户必须共同持有不少于$K - 1$个独立密钥位。该结果确立了DSA的基本性能极限,并为分布式学习系统中可证明安全且通信高效的协议设计提供了理论指导。

0
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
专知会员服务
117+阅读 · 2021年1月8日
异质信息网络分析与应用综述,软件学报-北京邮电大学
综述 | 异质信息网络分析与应用综述
专知
27+阅读 · 2020年8月8日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
综述:DenseNet—Dense卷积网络(图像分类)
专知
86+阅读 · 2018年11月26日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
深度学习应用于网络空间安全所面临的十大问题与机遇
计算机研究与发展
22+阅读 · 2018年6月7日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
22+阅读 · 2017年10月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
0+阅读 · 4月21日
VIP会员
最新内容
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
1+阅读 · 40分钟前
网状网络及其在军事领域的运用
专知会员服务
4+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
5+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
6+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
5+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
9+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
7+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
9+阅读 · 6月24日
相关VIP内容
专知会员服务
117+阅读 · 2021年1月8日
异质信息网络分析与应用综述,软件学报-北京邮电大学
相关资讯
综述 | 异质信息网络分析与应用综述
专知
27+阅读 · 2020年8月8日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
综述:DenseNet—Dense卷积网络(图像分类)
专知
86+阅读 · 2018年11月26日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
深度学习应用于网络空间安全所面临的十大问题与机遇
计算机研究与发展
22+阅读 · 2018年6月7日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
22+阅读 · 2017年10月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员