Standard PII filters often miss contextual data leakage in RAG systems, such as non-regulated attribute clusters that collectively identify individuals. We introduce a Privacy Policy Enforcement (PPE) framework using dual one-class density estimators with fused text embeddings and a calibrated abstain region for out-of-distribution inputs. Using an axis-stratified, multi-LLM synthetic data pipeline across medicine, finance, and law, we found that traditional Gaussian Mixture baselines fail on borderline-safe stress tests by focusing on linguistic register rather than content. Our proposed T3+OCSVM detector, trained on safe and borderline-safe data, achieves a borderline AUROC of 0.93+ while reducing false positives by 44-55 percentage points and maintaining millisecond latency. Compared to supervised MLP classifiers or 14B-parameter LLM judges, our framework offers superior operational suitability, as the former suffers from high abstention rates and the latter from latency and calibration issues. This methodology provides a robust stress-testing standard for any synthetic-data-trained classifier.


翻译:标准个人身份信息过滤器通常无法捕捉检索增强生成(RAG)系统中的上下文数据泄露,例如非受监管的属性聚类——这些聚类可共同识别个体。我们提出一种隐私策略执行(PPE)框架,该框架采用基于融合文本嵌入的双单类密度估计器,并针对分布外输入设置校准的规避区域。通过使用跨医学、金融和法律领域的轴分层、多大型语言模型(LLM)合成数据管道,我们发现传统高斯混合基线在处理边界安全压力测试时失效,因其聚焦于语言风格而非内容。我们提出的基于边界安全及安全数据训练的T3+OCSVM检测器在边界AUC上达到0.93以上,同时将误报率降低44-55个百分点,并保持毫秒级延迟。与监督型多层感知器(MLP)分类器或140亿参数LLM裁判相比,本框架具有更优的运维适用性:前者存在高规避率问题,后者则受限于延迟与校准缺陷。该方法为任何基于合成数据训练的分类器提供了鲁棒的压力测试标准。

0
下载
关闭预览

相关内容

《用于建模系统攻击路径的强化学习环境》
专知会员服务
22+阅读 · 3月5日
【SIGIR2025教程】动态与参数化检索增强生成
专知会员服务
17+阅读 · 2025年7月14日
检索增强生成(RAG)与推理的协同作用:一项系统综述
专知会员服务
16+阅读 · 2025年4月27日
检索增强生成系统中的可信度:综述
专知会员服务
44+阅读 · 2024年9月18日
专知会员服务
34+阅读 · 2021年9月16日
CFGAN:基于生成对抗网络的协同过滤框架
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员