Most existing secure neural network inference protocols based on secure multi-party computation (MPC) typically support at most four participants, demonstrating severely limited scalability. Liu et al. (USENIX Security'24) presented the first relatively practical approach by utilizing Shamir secret sharing with Mersenne prime fields. However, when processing deeper neural networks such as VGG16, their protocols incur substantial communication overhead, resulting in particularly significant latency in wide-area network (WAN) environments. In this paper, we propose a high-throughput and scalable MPC protocol for neural network inference against semi-honest adversaries in the honest-majority setting. The core of our approach lies in leveraging packed Shamir secret sharing (PSS) to enable parallel computation and reduce communication complexity. The main contributions are three-fold: i) We present a communication-efficient protocol for vector-matrix multiplication, based on our newly defined notion of vector-matrix multiplication-friendly random share tuples. ii) We design the filter packing approach that enables parallel convolution. iii) We further extend all non-linear protocols based on Shamir secret sharing to the PSS-based protocols for achieving parallel non-linear operations. Extensive experiments across various datasets and neural networks demonstrate the superiority of our approach in WAN. Compared to Liu et al. (USENIX Security'24), our scheme reduces the communication upto 5.85x, 11.17x, and 6.83x in offline, online and total communication overhead, respectively. In addition, our scheme is upto 1.59x, 2.61x, and 1.75x faster in offline, online and total running time, respectively.


翻译:现有大多数基于安全多方计算(MPC)的安全神经网络推理协议通常最多支持四名参与者,可扩展性严重受限。Liu等人(USENIX Security'24)通过采用梅森素数域上的Shamir秘密共享,提出了首个相对实用的方案。然而,在处理VGG16等深层神经网络时,其协议会产生大量通信开销,导致在广域网(WAN)环境中的延迟尤为显著。本文针对诚实多数场景下的半诚实敌手,提出了一种高吞吐量、可扩展的神经网络推理MPC协议。我们的方法核心在于利用打包Shamir秘密共享(PSS)实现并行计算并降低通信复杂度。主要贡献包括三个方面:i)基于我们新定义的向量-矩阵乘法友好型随机份额元组概念,提出了一种通信高效的向量-矩阵乘法协议;ii)设计了支持并行卷积的滤波器打包方法;iii)将所有基于Shamir秘密共享的非线性协议扩展为基于PSS的协议,以实现并行非线性运算。在不同数据集和神经网络上的大量实验证明了我们方法在WAN环境中的优越性。与Liu等人(USENIX Security'24)的方案相比,我们的方案在离线、在线及总通信开销上分别降低了最高5.85倍、11.17倍和6.83倍。此外,我们的方案在离线、在线及总运行时间上分别提升了最高1.59倍、2.61倍和1.75倍。

0
下载
关闭预览

相关内容

专知会员服务
38+阅读 · 2021年10月19日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
精选论文 | 图深度学习【附打包下载】
人工智能前沿讲习班
11+阅读 · 2019年6月12日
理解人类推理的深度学习
论智
19+阅读 · 2018年11月7日
深度学习开发必备开源框架
九章算法
12+阅读 · 2018年5月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
38+阅读 · 2021年10月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员