Despite substantial progress in Deep Search agents, their ability to conduct end-to-end research in real-world open Web environments remains insufficiently evaluated. Unlike static retrieval settings, information on the real-world Web is distributed across diverse sources, modalities, and heterogeneous formats, often involving complex interaction mechanisms that require agents to autonomously search for, access, and integrate relevant evidence during execution. To address this gap, we introduce the OpenDS task, designed to evaluate agents' ability to perform multi-step deep search in the live, open Web. This task requires agents to autonomously explore the real Web, discover and connect relevant evidence from multiple independent sources through Web search, browser interaction, and evidence processing, and ultimately determine a unique factual answer. Building on this task formulation, we construct OpenDS-World, a benchmark comprising 200 challenging tasks spanning diverse information modalities, heterogeneous file formats, and interactive access requirements, with independent human verification to ensure evidence validity and answer uniqueness. We evaluate 12 frontier models under a unified tool environment and execution protocol. The best-performing model achieves 39.0% accuracy, while human evaluation across 1,000 independent attempts yields 21.1% accuracy. Further analyses of tool usage, search cost, termination behavior, and failure recovery reveal substantial differences in research strategies across models, as well as persistent challenges in tool coordination and long-horizon search management. OpenDS-World provides a unified evaluation platform for systematically assessing and advancing agents' autonomous deep search capabilities in real-world open Web environments.


翻译:暂无翻译

0
下载
关闭预览

相关内容

综述 | Deep Academic Survey:有状态闭环综述自动化
专知会员服务
13+阅读 · 8月19日
DeepSeek 实践:大模型部署、微调与应用
专知会员服务
41+阅读 · 2025年11月17日
大模型技术发展与展望 ——DeepSeek 带来的思考
专知会员服务
33+阅读 · 2025年4月9日
DeepSeek+DeepResearch 让科研像聊天一样简单,85页ppt
专知会员服务
48+阅读 · 2025年3月16日
DeepSeek部署、使用及安全深度报告(附PPT下载)
专知会员服务
66+阅读 · 2025年3月5日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
62+阅读 · 2020年5月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
【LinkedIn报告】深度自然语言处理的搜索系统,211页pdf
专知会员服务
109+阅读 · 2019年6月21日
基于虚拟现实环境的深度学习模型构建
MOOC
24+阅读 · 2019年9月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
深度学习应用于网络空间安全所面临的十大问题与机遇
计算机研究与发展
22+阅读 · 2018年6月7日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
1+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
2+阅读 · 11月6日
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
17+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
18+阅读 · 10月24日
相关VIP内容
综述 | Deep Academic Survey:有状态闭环综述自动化
专知会员服务
13+阅读 · 8月19日
DeepSeek 实践:大模型部署、微调与应用
专知会员服务
41+阅读 · 2025年11月17日
大模型技术发展与展望 ——DeepSeek 带来的思考
专知会员服务
33+阅读 · 2025年4月9日
DeepSeek+DeepResearch 让科研像聊天一样简单,85页ppt
专知会员服务
48+阅读 · 2025年3月16日
DeepSeek部署、使用及安全深度报告(附PPT下载)
专知会员服务
66+阅读 · 2025年3月5日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
62+阅读 · 2020年5月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
【LinkedIn报告】深度自然语言处理的搜索系统,211页pdf
专知会员服务
109+阅读 · 2019年6月21日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员