Machine Learning is a widely-used method for prediction generation. These predictions are more accurate when the model is trained on a larger dataset. On the other hand, the data is usually divided amongst different entities. For privacy reasons, the training can be done locally and then the model can be safely aggregated amongst the participants. However, if there are only two participants in \textit{Collaborative Learning}, the safe aggregation loses its power since the output of the training already contains much information about the participants. To resolve this issue, they must employ privacy-preserving mechanisms, which inevitably affect the accuracy of the model. In this paper, we model the training process as a two-player game where each player aims to achieve a higher accuracy while preserving its privacy. We introduce the notion of \textit{Price of Privacy}, a novel approach to measure the effect of privacy protection on the accuracy of the model. We develop a theoretical model for different player types, and we either find or prove the existence of a Nash Equilibrium with some assumptions. Moreover, we confirm these assumptions via a Recommendation Systems use case: for a specific learning algorithm, we apply three privacy-preserving mechanisms on two real-world datasets. Finally, as a complementary work for the designed game, we interpolate the relationship between privacy and accuracy for this use case and present three other methods to approximate it in a real-world scenario.


翻译:机器学习是一种广泛使用的预测生成方法。 当模型在更大的数据集上培训时, 这些预测会更加精确。 另一方面, 数据通常由不同的实体分割。 出于隐私原因, 培训可以在本地进行, 然后模型可以安全地在参与者中汇总。 但是, 如果在\ textit{Collabosual Learning} 中只有两名参与者, 安全集合会失去它的力量, 因为培训的产出已经包含关于参与者的大量信息 。 为了解决这个问题, 它们必须使用隐私保护机制, 这不可避免地影响到模型的准确性 。 在本文中, 我们将培训进程建为双玩游戏游戏游戏, 每个玩家都是为了在保护隐私的同时实现更高的准确性。 我们引入了\ textitit{Prity} 的概念, 这是衡量隐私保护对模型准确性的影响的一种新颖的方法。 我们为不同玩家类型开发了一个理论模型, 我们要么找到或证明存在一个 Nash Equiliriium, 并且有一些假设。 此外, 我们通过一个建议系统案例来确认这些假设: 为了学习真实的保密性游戏中的一种特定的精确性, 我们运用了两种方法, 我们使用一种真正的隐私关系, 来在目前设计中, 我们使用一种真实的精确性选择的三种方法, 我们使用一种真实的三种方法, 来使用一种真实性选择。

4
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
开源书:PyTorch深度学习起步
专知会员服务
51+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Learning Recommender Systems from Multi-Behavior Data
VIP会员
相关VIP内容
开源书:PyTorch深度学习起步
专知会员服务
51+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Top
微信扫码咨询专知VIP会员