Agentic search over large corpora relies on retriever-mediated interfaces (e.g., BM25 or ColBERT) for scalable candidate discovery. While effective at ranking relevant documents, these interfaces expose evidence only as ranked results or bounded document views, limiting agents' ability to reorganize material and verify constraints across documents. Direct Corpus Interaction (DCI) addresses this limitation by exposing shell-executable corpus operations for flexible search, filtering, comparison, and verification. However, full-corpus terminal commands become slow and unstable as the corpus grows, degrading performance and efficiency. We introduce DR-DCI, a retriever-steered DCI framework that treats retrieval as an agent-callable action for expanding a local workspace. Rather than operating directly over the full corpus, the agent dynamically pulls relevant documents into an evolving workspace and conducts DCI operations within it. This design combines retriever-level recall with DCI-style precision: retrieval keeps exploration scalable, while DCI preserves the local operations needed for effective evidence resolution. Experiments show that DR-DCI is both effective and efficient across scales. On Browsecomp-Plus, DR-DCI reaches 71.2\% accuracy, improving over raw DCI and ablated variants by up to 8.3 points while reducing tool usage, wall time, and estimated cost. With workspace-preserving context reset, accuracy further improves to 73.3\%. In corpus-scaling experiments, DR-DCI remains effective from 100K to 10M documents, whereas raw DCI becomes unstable and BM25 performs substantially worse. DR-DCI also scales to a 20M-scale file-per-document Wiki-18 QA setting, achieving an average score of 63.0 across six benchmarks and outperforming retrieval-based and trained search-agent baselines. Ablation analysis further shows that ranked previews and inter-document DCI are key to performance.


翻译:大规模语料库上的智能代理搜索依赖检索器中介接口(如BM25或ColBERT)实现可扩展的候选发现。虽然这些接口在相关文档排序方面效果显著,但其仅能以排序结果或受限文档视图形式呈现证据,限制了智能代理重组材料及跨文档验证约束条件的能力。直接语料交互通过暴露可执行语料库操作的命令行接口,实现了灵活的搜索、过滤、比较与验证,从而解决了该局限性。然而,随着语料库规模增长,全语料终端命令变得缓慢且不稳定,导致性能与效率下降。我们提出DR-DCI——一种检索器引导的DCI框架,将检索视为智能代理可调用的动作,用于扩展本地工作区。智能代理不再直接操作完整语料库,而是将相关文档动态拉入持续演进的工作区,并在其中执行DCI操作。该设计融合了检索器级别的召回率与DCI风格的精确性:检索确保探索的可扩展性,而DCI则保留了有效证据解析所需的本地操作能力。实验表明,DR-DCI在各规模下兼具高效性与有效性。在Browsecomp-Plus数据集上,DR-DCI达到71.2%准确率,相较原始DCI及消融变体提升高达8.3个百分点,同时降低工具使用量、实际耗时与估算成本。通过保留工作区的上下文重置,准确率进一步提升至73.3%。在语料库规模扩展实验中,DR-DCI在10万至1000万文档范围内保持有效,而原始DCI出现不稳定且BM25性能显著下降。在2000万级单文档文件的Wiki-18问答场景中,DR-DCI亦能扩展应用,在六个基准测试中平均得分63.0,优于基于检索与训练型搜索代理的基线方法。消融分析进一步表明,排序预览与跨文档DCI是性能的关键。

0
下载
关闭预览

相关内容

【博士论文】扩展可扩展会话推荐的边界
专知会员服务
13+阅读 · 2025年8月5日
推荐系统与大语言模型技术融合:EMNLP/NeurIPS相关论文导览
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
中文NLP福利!大规模中文自然语言处理语料
新智元
37+阅读 · 2019年2月13日
基于 rasa 搭建中文对话系统 | 公开课
AI研习社
16+阅读 · 2018年1月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
5+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
相关VIP内容
【博士论文】扩展可扩展会话推荐的边界
专知会员服务
13+阅读 · 2025年8月5日
推荐系统与大语言模型技术融合:EMNLP/NeurIPS相关论文导览
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员