Mobile Agents can autonomously execute user instructions, which requires hybrid-capabilities reasoning, including screen summary, subtask planning, action decision and action function. However, existing agents struggle to achieve both decoupled enhancement and balanced integration of these capabilities. To address these challenges, we propose Channel-of-Mobile-Experts (CoME), a novel agent architecture consisting of four distinct experts, each aligned with a specific reasoning stage, CoME activates the corresponding expert to generate output tokens in each reasoning stage via output-oriented activation. To empower CoME with hybrid-capabilities reasoning, we introduce a progressive training strategy: Expert-FT enables decoupling and enhancement of different experts' capability; Router-FT aligns expert activation with the different reasoning stage; CoT-FT facilitates seamless collaboration and balanced optimization across multiple capabilities. To mitigate error propagation in hybrid-capabilities reasoning, we propose InfoGain-Driven DPO (Info-DPO), which uses information gain to evaluate the contribution of each intermediate step, thereby guiding CoME toward more informative reasoning. Comprehensive experiments show that CoME outperforms dense mobile agents and MoE methods on both AITZ and AMEX datasets.


翻译:移动智能体能够自主执行用户指令,这需要混合能力推理,包括屏幕摘要、子任务规划、动作决策和动作执行。然而,现有智能体难以同时实现这些能力的解耦增强与均衡整合。为应对这些挑战,我们提出了移动专家通道(CoME),这是一种新颖的智能体架构,由四个不同的专家组成,每个专家对应一个特定的推理阶段。CoME通过面向输出的激活机制,在每一推理阶段激活相应的专家以生成输出令牌。为了赋予CoME混合能力推理能力,我们引入了一种渐进式训练策略:专家微调(Expert-FT)实现不同专家能力的解耦与增强;路由微调(Router-FT)使专家激活与不同推理阶段对齐;思维链微调(CoT-FT)促进跨多个能力的无缝协作与均衡优化。为了减轻混合能力推理中的错误传播,我们提出了信息增益驱动的直接偏好优化(Info-DPO),该方法利用信息增益评估每个中间步骤的贡献,从而引导CoME进行信息更丰富的推理。全面的实验表明,CoME在AITZ和AMEX数据集上均优于密集移动智能体和混合专家方法。

0
下载
关闭预览

相关内容

迈向边缘通用智能:面向移动智能体 AI 的知识蒸馏
专知会员服务
26+阅读 · 2025年11月29日
《混合专家模型推理优化技术综述》
专知会员服务
46+阅读 · 2024年12月21日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
技术、多域威慑与海上战争(报告)
专知会员服务
1+阅读 · 今天15:04
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
1+阅读 · 今天14:54
人工智能及其在海军行动中的整合(综述)
专知会员服务
0+阅读 · 今天14:07
美军MAVEN项目全面解析:算法战架构
专知会员服务
16+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
10+阅读 · 今天8:19
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员