The advent of multimodal agents facilitates effective interaction within graphical user interface (GUI), especially in ubiquitous GUI control. However, their inability to reliably execute toggle control instructions remains a key bottleneck. To investigate this, we construct a state control benchmark with binary toggle instructions derived from public datasets. Evaluation results of existing agents demonstrate their notable unreliability, particularly when the current toggle state already matches the desired state. To address the challenge, we propose State-aware Reasoning (StaR), a multimodal reasoning method that enables agents to perceive the current toggle state, infer the desired state from the instruction, and act accordingly. Experiments on four multimodal agents demonstrate that StaR can improve toggle instruction execution accuracy by over 30\%. Further evaluations on three public agentic benchmarks show that StaR also enhances general agentic task performance. Finally, evaluations on a dynamic environment highlight the potential of StaR for real-world applications. Code and benchmark: https://github.com/ZrW00/StaR.


翻译:多模态智能体的出现促进了在图形用户界面(GUI)内的有效交互,尤其在普适的GUI控制中。然而,它们无法可靠执行开关控制指令仍然是一个关键瓶颈。为探究此问题,我们基于公开数据集构建了一个包含二元开关指令的状态控制基准。对现有智能体的评估结果表明,它们存在显著不可靠性,特别是当当前开关状态已与期望状态相符时。为应对这一挑战,我们提出了状态感知推理(StaR),一种多模态推理方法,使智能体能够感知当前开关状态,从指令中推断期望状态,并相应采取行动。在四个多模态智能体上的实验表明,StaR可将开关指令执行准确率提升超过30%。在三个公开智能体基准上的进一步评估显示,StaR也能提升通用智能体任务性能。最后,在动态环境中的评估突显了StaR在现实世界应用中的潜力。代码与基准:https://github.com/ZrW00/StaR。

0
下载
关闭预览

相关内容

《多智能体大语言模型系统的可靠决策研究》
专知会员服务
39+阅读 · 2月2日
Agent AI:多模态交互的新地平线
专知会员服务
21+阅读 · 2025年5月26日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
40+阅读 · 2025年4月18日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
《图世界模型:概念、分类体系与未来方向》
专知会员服务
1+阅读 · 5月1日
Palantir AIP平台:连接智能体与决策
专知会员服务
8+阅读 · 5月1日
《美海军软件测试战略》90页slides
专知会员服务
8+阅读 · 5月1日
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
8+阅读 · 4月30日
相关VIP内容
《多智能体大语言模型系统的可靠决策研究》
专知会员服务
39+阅读 · 2月2日
Agent AI:多模态交互的新地平线
专知会员服务
21+阅读 · 2025年5月26日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
40+阅读 · 2025年4月18日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员