Dynamic retrieval-augmented generation (RAG) allows large language models (LLMs) to fetch external knowledge on demand, offering greater adaptability than static RAG. A central challenge in this setting lies in determining the optimal timing for retrieval. Existing methods often trigger retrieval based on low token-level confidence, which may lead to delayed intervention after errors have already propagated. We introduce Entropy-Trend Constraint (ETC), a training-free method that determines optimal retrieval timing by modeling the dynamics of token-level uncertainty. Specifically, ETC utilizes first- and second-order differences of the entropy sequence to detect emerging uncertainty trends, enabling earlier and more precise retrieval. Experiments on six QA benchmarks with three LLM backbones demonstrate that ETC consistently outperforms strong baselines while reducing retrieval frequency. ETC is particularly effective in domain-specific scenarios, exhibiting robust generalization capabilities. Ablation studies and qualitative analyses further confirm that trend-aware uncertainty modeling yields more effective retrieval timing. The method is plug-and-play, model-agnostic, and readily integrable into existing decoding pipelines. Implementation code is included in the supplementary materials.


翻译:动态检索增强生成(RAG)使大型语言模型(LLM)能够按需获取外部知识,相比静态RAG具有更强的适应性。该场景中的一个核心挑战在于确定检索的最佳时机。现有方法通常基于较低的词元级置信度触发检索,这可能导致错误已经传播后才进行延迟干预。本文提出熵趋势约束(ETC),一种无需训练的方法,通过建模词元级不确定性的动态变化来确定最优检索时机。具体而言,ETC利用熵序列的一阶和二阶差分来检测正在形成的不确定性趋势,从而实现更早且更精确的检索。在六个问答基准数据集上使用三种LLM骨干网络的实验表明,ETC在降低检索频率的同时,持续优于现有强基线方法。ETC在特定领域场景中尤为有效,展现出强大的泛化能力。消融研究和定性分析进一步证实,基于趋势的不确定性建模能够产生更有效的检索时机。该方法即插即用、与模型无关,并可轻松集成到现有解码流程中。实现代码已包含在补充材料中。

0
下载
关闭预览

相关内容

论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员