GUI agents rely on screenshots to infer intent and operate across applications, but these screenshots often contain private messages, medical records, payment credentials, and workplace-specific workflows. Privacy decisions in this setting depend on task, recipient, application state, and user role, yet static PII detectors miss these boundaries and cloud-side VLM reasoning can upload the raw screen before deciding what should be protected. We present MaskClaw, an edge-side privacy arbitrator for GUI agents. MaskClaw extracts local visual evidence, retrieves user- and task-specific policy memory, and decides Allow, Mask, or Ask before raw screenshots leave a trusted user- or organization-controlled environment. In five designed skill-evolution scenarios, it turns corrections, cancellations, and edits into reusable privacy skills checked by a sandbox gate. We introduce P-GUI-Evo, a benchmark built from real UI patterns, reconstructed HTML screens, and sanitized labels. Experiments show that pattern matching, cloud reasoning, and routing alone tend to over-confirm, over-mask, or expose raw screenshots under the same protocol. The artifact is available at https://github.com/Theodora-Y/MaskClaw.


翻译:GUI代理依赖截图推断意图并跨应用操作,但这些截图常包含私人消息、医疗记录、支付凭证及职场特定工作流。此类场景下的隐私决策取决于任务、接收方、应用状态及用户角色,然而静态PII检测器无法识别这些边界,而云端VLM推理可能在决定保护内容之前已上传原始截图。我们提出MaskClaw——面向GUI代理的边缘侧隐私仲裁器。该机制提取本地视觉证据、检索用户与任务相关的策略记忆,并在原始截图离开受信任的用户或组织控制环境之前,决定“允许”(Allow)、“遮蔽”(Mask)或“询问”(Ask)。在设计的五种技能演化场景中,它将修正、取消与编辑操作转化为可复用的隐私技能,并通过沙箱门(sandbox gate)进行验证。我们引入P-GUI-Evo基准测试集,该基准基于真实UI模式、重构的HTML屏幕及经脱敏处理的标签构建。实验表明,在相同协议下,单一的模式匹配、云端推理及路由策略易导致过度确认、过度遮蔽或暴露原始截图。相关代码已开源至https://github.com/Theodora-Y/MaskClaw。

0
下载
关闭预览

相关内容

隐私工程白皮书,56pdf
专知会员服务
35+阅读 · 2023年10月5日
重磅!《隐私计算白皮书(2022年)》正式发布,65页pdf
专知会员服务
85+阅读 · 2023年1月2日
2022年中国隐私计算行业研究报告(附下载)
专知会员服务
97+阅读 · 2022年5月1日
图数据上的隐私攻击与防御技术
专知会员服务
28+阅读 · 2022年4月28日
专知会员服务
14+阅读 · 2021年9月14日
《隐私计算白皮书(2021年)》正式发布(附下载链接)
专知会员服务
96+阅读 · 2021年7月22日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
【专题】美国隐私立法进展的总体分析
蚂蚁金服评论
11+阅读 · 2019年4月25日
美参议员提出商业面部识别隐私法案
蚂蚁金服评论
12+阅读 · 2019年4月25日
FaceNiff工具 - 适用于黑客的Android应用程序
黑白之道
151+阅读 · 2019年4月7日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
22+阅读 · 2017年10月24日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
【专题】美国隐私立法进展的总体分析
蚂蚁金服评论
11+阅读 · 2019年4月25日
美参议员提出商业面部识别隐私法案
蚂蚁金服评论
12+阅读 · 2019年4月25日
FaceNiff工具 - 适用于黑客的Android应用程序
黑白之道
151+阅读 · 2019年4月7日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
综述——隐私保护集合交集计算技术研究
计算机研究与发展
22+阅读 · 2017年10月24日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员