Screenshot-based mobile GUI agents can operate ordinary smartphone apps through the same visual interface as a human user, but this capability also turns every screen observation into a privacy boundary. During normal task execution, screenshots may expose contacts, messages, photos, files, recommendations, health cues, and other sensitive context that is unrelated to the user's request. We call this problem incidental visual privacy exposure. It is difficult to address with existing defenses: text anonymization misses many visual and inferential cues, while generic privacy masking can remove the evidence and controls that a GUI agent needs to complete the task. This paper presents CAPED, a context-aware pre-upload exposure control layer for mobile GUI agents. CAPED is designed as a phone-side protection layer: before screenshots are released to a remote multimodal agent, it extracts task requirements, uses screen context as a privacy prior, parses visible UI elements, and selectively exposes only content needed for the current task while masking incidental private content. We evaluate CAPED on AndroidWorld for broad task utility and with a controlled 28-task seeded privacy evaluation used as a measurement instrument for trajectory-level incidental leakage. In this seeded evaluation, Full CAPED reduces success-conditioned weighted seeded leakage from 0.766 under raw screenshots to 0.268 while preserving high task utility. A broader AndroidWorld run shows a remaining prototype-level utility cost, but the results show that task-driven selective exposure can reduce incidental visual leakage before screenshots are released to a remote GUI agent.


翻译:摘要:基于截图的移动GUI代理能够像人类用户一样,通过相同的视觉界面操作普通智能手机应用,但这种能力也使每一次屏幕观察都变成了隐私边界。在正常任务执行过程中,截图可能暴露与用户请求无关的联系人、消息、照片、文件、推荐内容、健康提示等敏感上下文。我们将此问题称为"偶然性视觉隐私暴露"。现有防御手段难以应对:文本匿名化会遗漏许多视觉和推断性线索,而通用隐私遮蔽则可能移除GUI代理完成任务所需的证据和控制要素。本文提出CAPED——一种面向移动GUI代理的上下文感知预上传暴露控制层。CAPED被设计为手机端保护层:在截图发送至远程多模态代理之前,它提取任务需求、以屏幕上下文作为隐私先验、解析可见UI元素,并选择性地仅暴露当前任务所需内容,同时遮蔽偶然性私人内容。我们在AndroidWorld上评估CAPED的任务通用性,并通过包含28个任务的受控种子隐私评估作为轨迹级偶然泄露的测量工具。在该种子评估中,完整版CAPED将成功条件加权种子泄露率从原始截图下的0.766降至0.268,同时保持了较高的任务效用。更广泛的AndroidWorld运行显示仍存在原型级效用成本,但结果表明,在截图发送至远程GUI代理之前,任务驱动的选择性暴露可以减少偶然性视觉泄露。

0
下载
关闭预览

相关内容

综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
大语言模型中的提示隐私保护
专知会员服务
24+阅读 · 2024年7月24日
图数据上的隐私攻击与防御技术
专知会员服务
28+阅读 · 2022年4月28日
移动互联网应用程序(APP)个人信息保护治理白皮书
专知会员服务
21+阅读 · 2021年11月24日
移动应用(APP)个人信息保护白皮书
专知会员服务
17+阅读 · 2021年10月31日
【ICML2021-Tutorial】机器学习隐私,90页ppt
专知会员服务
38+阅读 · 2021年7月27日
[CVPR 2020]BEDSR-Net:单张文档图像的阴影去除深度网络
专知会员服务
26+阅读 · 2020年9月29日
通过Termux打造免root安卓渗透工具
黑客技术与网络安全
16+阅读 · 2019年8月16日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
iOS如何区分App和SDK内部crash
CocoaChina
11+阅读 · 2019年4月17日
FaceNiff工具 - 适用于黑客的Android应用程序
黑白之道
151+阅读 · 2019年4月7日
AnDOSid - 适用于黑客的Android应用程序
黑白之道
11+阅读 · 2019年3月14日
网络安全态势感知浅析
计算机与网络安全
18+阅读 · 2017年10月13日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
大语言模型中的提示隐私保护
专知会员服务
24+阅读 · 2024年7月24日
图数据上的隐私攻击与防御技术
专知会员服务
28+阅读 · 2022年4月28日
移动互联网应用程序(APP)个人信息保护治理白皮书
专知会员服务
21+阅读 · 2021年11月24日
移动应用(APP)个人信息保护白皮书
专知会员服务
17+阅读 · 2021年10月31日
【ICML2021-Tutorial】机器学习隐私,90页ppt
专知会员服务
38+阅读 · 2021年7月27日
[CVPR 2020]BEDSR-Net:单张文档图像的阴影去除深度网络
专知会员服务
26+阅读 · 2020年9月29日
相关资讯
通过Termux打造免root安卓渗透工具
黑客技术与网络安全
16+阅读 · 2019年8月16日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
iOS如何区分App和SDK内部crash
CocoaChina
11+阅读 · 2019年4月17日
FaceNiff工具 - 适用于黑客的Android应用程序
黑白之道
151+阅读 · 2019年4月7日
AnDOSid - 适用于黑客的Android应用程序
黑白之道
11+阅读 · 2019年3月14日
网络安全态势感知浅析
计算机与网络安全
18+阅读 · 2017年10月13日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员