Web agents struggle to adapt to new websites due to the scarcity of environment specific tasks and demonstrations. Recent works have explored synthetic data generation to address this challenge, however, they suffer from data quality issues where synthesized tasks contain hallucinations that cannot be executed, and collected trajectories are noisy with redundant or misaligned actions. In this paper, we propose SynthAgent, a fully synthetic supervision framework that aims at improving synthetic data quality via dual refinement of both tasks and trajectories. Our approach begins by synthesizing diverse tasks through categorized exploration of web elements, ensuring efficient coverage of the target environment. During trajectory collection, tasks are refined only when conflicts with observations are detected, which mitigates hallucinations while preserving task consistency. After collection, we conduct trajectory refinement with global context to mitigate potential noise or misalignments. Finally, we fine-tune open-source web agents on the refined synthetic data to adapt them to the target environment. Experimental results demonstrate that SynthAgent outperforms existing synthetic data methods, validating the importance of high-quality synthetic supervision. The code is publicly available at https://github.com/aiming-lab/SynthAgent.


翻译:网页智能体因缺乏针对特定环境设计的任务与演示样本而难以适应新网站。近期研究尝试通过合成数据生成应对这一挑战,但存在数据质量问题:合成任务常包含无法执行的幻觉内容,而采集的行为轨迹则存在冗余或动作错位等噪声。本文提出SynthAgent——一种通过任务与轨迹双重优化提升合成数据质量的完全合成监督框架。该方法首先通过对网页元素进行分类型探索来合成多样化任务,确保对目标环境的高效覆盖。在轨迹采集阶段,仅当检测到任务与观察结果冲突时才进行任务优化,从而在保持任务一致性的同时减少幻觉。采集完成后,我们利用全局上下文进行轨迹优化以消除潜在噪声与错位。最后,我们在优化后的合成数据上对开源网页智能体进行微调,使其适应目标环境。实验结果表明,SynthAgent优于现有合成数据方法,验证了高质量合成监督的重要性。代码已公开于 https://github.com/aiming-lab/SynthAgent。

0
下载
关闭预览

相关内容

智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
智能体适应
专知会员服务
22+阅读 · 2025年12月11日
《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
16+阅读 · 2025年10月30日
【新书】合成数据与生成式人工智能
专知会员服务
47+阅读 · 2025年2月9日
谷歌《智能体Agent》白皮书,42页pdf
专知会员服务
108+阅读 · 2025年1月5日
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
智能体适应
专知会员服务
22+阅读 · 2025年12月11日
《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
16+阅读 · 2025年10月30日
【新书】合成数据与生成式人工智能
专知会员服务
47+阅读 · 2025年2月9日
谷歌《智能体Agent》白皮书,42页pdf
专知会员服务
108+阅读 · 2025年1月5日
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员