With the advancement of multimodal large language models (MLLMs), building GUI agent systems has become an increasingly promising direction--especially for mobile platforms, given their rich app ecosystems and intuitive touch interactions. Yet mobile GUI agents face a critical dilemma: truly on-device models (4B or smaller) lack sufficient performance, while capable models (starting from 7B) are either too large for mobile deployment or prohibitively costly (e.g., cloud-only closed-source MLLMs). To resolve this, we propose OpenPhone, a mobile GUI agent system that leverages device-cloud collaboration to tap the cost-efficiency of on device models and the high capability of cloud models, while avoiding their drawbacks. Specifically, OpenPhone enhances Qwen2.5-VL-3B via two-stage SFT->GRPO training on synthetic GUI data for strong decision-making, integrates an efficient long-reasoning and memory management mechanism to utilize historical interactions under tight resources, and defaults to on-device execution--only escalating challenging subtasks to the cloud via real-time complexity assessment. Experiments on the online AndroidLab benchmark and diverse apps show OpenPhone matches or nears larger models, with a significant reduction in cloud costs.


翻译:随着多模态大语言模型(MLLMs)的发展,构建图形用户界面(GUI)智能体系统已成为一个日益前景广阔的方向——尤其是在移动平台上,鉴于其丰富的应用生态系统和直观的触控交互。然而,移动端GUI智能体面临一个关键困境:真正在设备上运行的模型(40亿参数或更小)性能不足,而能力足够的模型(从70亿参数起)要么对于移动端部署而言过大,要么成本过高(例如,仅限云端访问的闭源MLLMs)。为解决此问题,我们提出了OpenPhone,一个移动端GUI智能体系统,它利用设备-云端协同工作,以结合设备端模型的成本效益与云端模型的高性能,同时避免各自的缺点。具体而言,OpenPhone通过基于合成GUI数据的两阶段SFT->GRPO训练来增强Qwen2.5-VL-3B模型,以获得强大的决策能力;集成了一个高效的长推理与记忆管理机制,以便在资源受限条件下利用历史交互信息;并默认在设备端执行——仅通过实时复杂度评估,将具有挑战性的子任务升级到云端处理。在在线AndroidLab基准测试和多样化应用上的实验表明,OpenPhone达到或接近更大模型的性能,同时显著降低了云端成本。

0
下载
关闭预览

相关内容

综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
OpenAI 32页《智能体》指南,如何构建首个智能体系统
专知会员服务
53+阅读 · 2025年4月18日
大语言模型智能体
专知会员服务
101+阅读 · 2024年12月25日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
4+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
17+阅读 · 10月15日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员