Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.


翻译:暂无翻译

0
下载
关闭预览

相关内容

综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
AI行业专题报告:工具生态逐步完善,通用Agent曙光已现
专知会员服务
32+阅读 · 2025年3月27日
大型语言模型代理的安全与隐私综述
专知会员服务
30+阅读 · 2024年8月5日
移动边缘智能与大型语言模型综述
专知会员服务
41+阅读 · 2024年7月31日
大语言模型中的提示隐私保护
专知会员服务
24+阅读 · 2024年7月24日
Al Agent--大模型时代重要落地方向
专知会员服务
106+阅读 · 2024年4月8日
移动应用(APP)个人信息保护白皮书
专知会员服务
17+阅读 · 2021年10月31日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
MMDetection v2.0 训练自己的数据集
CVer
30+阅读 · 2020年8月9日
通过Termux打造免root安卓渗透工具
黑客技术与网络安全
16+阅读 · 2019年8月16日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
Fully-Convolutional Siamese Networks for Object Tracking论文笔记
统计学习与视觉计算组
10+阅读 · 2018年10月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
5+阅读 · 5月5日
《美空军条令出版物 2-0:情报(2026版)》
专知会员服务
9+阅读 · 5月5日
帕兰提尔 Gotham:一个游戏规则改变器
专知会员服务
5+阅读 · 5月5日
【综述】 机器人学习中的世界模型:全面综述
专知会员服务
10+阅读 · 5月4日
伊朗的导弹-无人机行动及其对美国威慑的影响
相关VIP内容
综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
AI行业专题报告:工具生态逐步完善,通用Agent曙光已现
专知会员服务
32+阅读 · 2025年3月27日
大型语言模型代理的安全与隐私综述
专知会员服务
30+阅读 · 2024年8月5日
移动边缘智能与大型语言模型综述
专知会员服务
41+阅读 · 2024年7月31日
大语言模型中的提示隐私保护
专知会员服务
24+阅读 · 2024年7月24日
Al Agent--大模型时代重要落地方向
专知会员服务
106+阅读 · 2024年4月8日
移动应用(APP)个人信息保护白皮书
专知会员服务
17+阅读 · 2021年10月31日
相关资讯
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
MMDetection v2.0 训练自己的数据集
CVer
30+阅读 · 2020年8月9日
通过Termux打造免root安卓渗透工具
黑客技术与网络安全
16+阅读 · 2019年8月16日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
Fully-Convolutional Siamese Networks for Object Tracking论文笔记
统计学习与视觉计算组
10+阅读 · 2018年10月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员