Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.


翻译:由多模态大语言模型驱动的移动GUI代理能够在移动设备上执行复杂任务。尽管取得进展,现有系统仍主要优化任务成功率或效率,忽视了用户的隐私个性化需求。本文研究这一常被忽视的代理个性化问题。我们观察到个性化会引发生成轨迹的系统性结构异质性:例如,隐私优先型用户倾向于保护性操作(如拒绝权限、注销账户、最小化暴露),导致其执行轨迹在逻辑上与效用优先型用户存在差异。这种变长且结构不同的轨迹使得标准偏好优化不稳定且信息量不足。为解决该问题,我们提出轨迹诱导偏好优化方法,通过偏好强度加权突出关键隐私相关步骤,并利用填充门控机制抑制对齐噪声。在隐私偏好数据集上的实验表明,TIPO在保持强任务执行能力的同时提升了角色对齐性与区分度,在多项GUI任务中实现了65.60%的成功率、46.22的合规性及66.67%的隐私区分度,性能优于现有优化方法。代码与数据集将发布于https://github.com/Zhixin-L/TIPO。

0
下载
关闭预览

相关内容

综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
大型语言模型代理的安全与隐私综述
专知会员服务
30+阅读 · 2024年8月5日
专知会员服务
14+阅读 · 2021年9月14日
个性化广告推荐系统及其应用研究
专知会员服务
96+阅读 · 2021年2月27日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
携程个性化推荐算法实践
架构文摘
12+阅读 · 2018年1月18日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
携程个性化推荐算法实践
架构文摘
12+阅读 · 2018年1月18日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员