Agentic reinforcement learning (RL) holds great promise for the development of autonomous agents under complex GUI tasks, but its scalability remains severely hampered by the verification of task completion. Existing task verification is treated as a passive, post-hoc process: a verifier (i.e., rule-based scoring script, reward or critic model, and LLM-as-a-Judge) analyzes the agent's entire interaction trajectory to determine if the agent succeeds. Such processing of verbose context that contains irrelevant, noisy history poses challenges to the verification protocols and therefore leads to prohibitive cost and low reliability. To overcome this bottleneck, we propose SmartSnap, a paradigm shift from this passive, post-hoc verification to proactive, in-situ self-verification by the agent itself. We introduce the Self-Verifying Agent, a new type of agent designed with dual missions: to not only complete a task but also to prove its accomplishment with curated snapshot evidences. Guided by our proposed 3C Principles (Completeness, Conciseness, and Creativity), the agent leverages its accessibility to the online environment to perform self-verification on a minimal, decisive set of snapshots. Such evidences are provided as the sole materials for a general LLM-as-a-Judge verifier to determine their validity and relevance. Experiments on mobile tasks across model families and scales demonstrate that our SmartSnap paradigm allows training LLM-driven agents in a scalable manner, bringing performance gains up to 26.08% and 16.66% respectively to 8B and 30B models. The synergizing between solution finding and evidence seeking facilitates the cultivation of efficient, self-verifying agents with competitive performance against DeepSeek V3.1 and Qwen3-235B-A22B. Code is available at: https://github.com/TencentYoutuResearch/SmartSnap


翻译:智能体强化学习(Agentic RL)在复杂图形用户界面任务下开发自主智能体方面前景广阔,但其可扩展性仍因任务完成验证而严重受限。现有任务验证被视为一种被动的、事后处理过程:验证器(即基于规则的评分脚本、奖励或评论模型,以及LLM-as-a-Judge)通过分析智能体的完整交互轨迹来判断其是否成功。这种处理包含无关噪声历史的冗长上下文的方式,给验证协议带来了挑战,从而导致高昂成本和低可靠性。为突破这一瓶颈,我们提出SmartSnap,将验证范式从这种被动的、事后验证转变为由智能体自身执行的主动、原位自验证。我们引入了自验证智能体,这是一种设计具有双重使命的新型智能体:不仅要完成任务,还要通过精心策划的截图证据来证明其完成情况。在我们提出的3C原则(完整性、简洁性、创造性)指导下,该智能体利用其对在线环境的可访问性,对一组最小化、决定性的截图进行自验证。这些证据将作为通用LLM-as-a-Judge验证器判断其有效性和相关性的唯一材料。跨模型系列和规模的移动任务实验表明,我们的SmartSnap范式能够以可扩展的方式训练LLM驱动的智能体,为80亿和300亿参数模型分别带来高达26.08%和16.66%的性能提升。解决方案寻找与证据寻求之间的协同作用,有助于培养高效的自验证智能体,其性能可与DeepSeek V3.1和Qwen3-235B-A22B相竞争。代码发布于:https://github.com/TencentYoutuResearch/SmartSnap

0
下载
关闭预览

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
【ICML2022】Orchestra: 通过全局一致聚类的无监督联邦学习
专知会员服务
17+阅读 · 2022年5月27日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关资讯
Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员