Differential privacy (DP) has emerged as the gold standard for protecting user data in recommender systems, but existing privacy-preserving mechanisms face a fundamental challenge: the privacy-utility tradeoff inevitably degrades recommendation quality as privacy budgets tighten. We introduce DPSR (Differentially Private Sparse Reconstruction), a novel three-stage denoising framework that fundamentally addresses this limitation by exploiting the inherent structure of rating matrices -- sparsity, low-rank properties, and collaborative patterns. DPSR consists of three synergistic stages: (1) \textit{information-theoretic noise calibration} that adaptively reduces noise for high-information ratings, (2) \textit{collaborative filtering-based denoising} that leverages item-item similarities to remove privacy noise, and (3) \textit{low-rank matrix completion} that exploits latent structure for signal recovery. Critically, all denoising operations occur \textit{after} noise injection, preserving differential privacy through the post-processing immunity theorem while removing both privacy-induced and inherent data noise. Through extensive experiments on synthetic datasets with controlled ground truth, we demonstrate that DPSR achieves 5.57\% to 9.23\% RMSE improvement over state-of-the-art Laplace and Gaussian mechanisms across privacy budgets ranging from $\varepsilon=0.1$ to $\varepsilon=10.0$ (all improvements statistically significant with $p < 0.05$, most $p < 0.001$). Remarkably, at $\varepsilon=1.0$, DPSR achieves RMSE of 0.9823, \textit{outperforming even the non-private baseline} (1.0983), demonstrating that our denoising pipeline acts as an effective regularizer that removes data noise in addition to privacy noise.


翻译:差分隐私(DP)已成为推荐系统中保护用户数据的黄金标准,但现有的隐私保护机制面临一个根本性挑战:随着隐私预算收紧,隐私与效用的权衡不可避免地降低推荐质量。我们提出了DPSR(差分隐私稀疏重构),这是一种新颖的三阶段去噪框架,通过利用评分矩阵的固有结构——稀疏性、低秩特性和协同模式——从根本上解决了这一局限性。DPSR包含三个协同作用的阶段:(1)自适应降低高信息评分噪声的\textit{信息论噪声校准};(2)利用物品间相似性去除隐私噪声的\textit{基于协同过滤的去噪};(3)利用潜在结构进行信号恢复的\textit{低秩矩阵补全}。关键在于,所有去噪操作均在噪声注入\textit{之后}进行,通过后处理免疫定理保持差分隐私,同时去除隐私引入的噪声和固有的数据噪声。通过在具有受控真实值的合成数据集上进行大量实验,我们证明在隐私预算范围从$\varepsilon=0.1$到$\varepsilon=10.0$内,DPSR相较于最先进的拉普拉斯和高斯机制实现了5.57\%至9.23\%的RMSE提升(所有改进均具有统计显著性,$p < 0.05$,大多数$p < 0.001$)。值得注意的是,在$\varepsilon=1.0$时,DPSR实现了0.9823的RMSE,\textit{甚至优于非隐私基线}(1.0983),这表明我们的去噪流程作为一种有效的正则化器,不仅去除了隐私噪声,还去除了数据噪声。

0
下载
关闭预览

相关内容

Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员