Web agents based on large language models have demonstrated promising capability in automating web tasks. However, current web agents struggle to reason out sensible actions due to the limitations of predicting environment changes, and might not possess comprehensive awareness of execution risks, prematurely performing risky actions that cause losses and lead to task failure. To address these challenges, we propose WAC, a web agent that integrates model collaboration, consequence simulation, and feedback-driven action refinement. To overcome the cognitive isolation of individual models, we introduce a multi-agent collaboration process that enables an action model to consult a world model as a web-environment expert for strategic guidance; the action model then grounds these suggestions into executable actions, leveraging prior knowledge of environmental state transition dynamics to enhance candidate action proposal. To achieve risk-aware resilient task execution, we introduce a two-stage deduction chain. A world model, specialized in environmental state transitions, simulates action outcomes, which a judge model then scrutinizes to trigger action corrective feedback when necessary. Experiments show that WAC achieves absolute gains of 1.8% on VisualWebArena and 1.3% on Online-Mind2Web.


翻译:基于大语言模型的网页智能体在自动化网页任务中展现出显著潜力。然而,现有智能体受限于环境变化预测能力,难以推理出合理的操作序列,且缺乏对执行风险的全面认知,可能过早执行高风险动作导致损失与任务失败。为应对这些挑战,我们提出WAC——一种融合模型协同、结果模拟与反馈驱动动作优化的网页智能体。为突破单模型认知局限,我们设计多智能体协作流程:动作模型可咨询作为网页环境专家的世界模型以获取策略指导,继而将这些建议与对环境状态转移动态的先验知识相结合,生成可执行动作候选方案。为实现风险感知的鲁棒任务执行,我们构建两阶段推理链:专精环境状态转移的世界模型模拟动作结果,再由评判模型进行审查,必要时触发动作修正反馈。实验表明,WAC在VisualWebArena和Online-Mind2Web基准上分别实现1.8%和1.3%的绝对性能提升。

0
下载
关闭预览

相关内容

大模型驱动的社交网络多智能体仿真综述
专知会员服务
14+阅读 · 2月22日
从感知到行动:空间人工智能体与世界模型
专知会员服务
25+阅读 · 2月3日
AI 智能体系统:体系架构、应用场景及评估范式
《基于二元优化与图学习的多智能体行动方案自动生成》
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员