Unsupervised dense retrievers offer scalability by learning semantic similarity from unlabeled documents via contrastive learning, but they struggle to capture the temporal relevance, retrieving semantically related but temporally misaligned documents-an important aspect when a document collection spans multiple time periods (e.g., retrieving documents from 2018-2025 for "Who is the president in 2019?" introduces temporal ambiguity). Existing methods rely on supervised training with explicit timestamps, which are not always feasible. We propose TPOUR (Temporal Preference Optimization for Unsupervised Retriever), which uses our novel training method Temporal Retrieval Preference Optimization (TRPO). TRPO reinterprets preference learning in the temporal dimension, guiding the retriever to favor temporally aligned documents. TPOUR further generalizes to unseen time periods via interpolation in a learned time embedding, enabling continuous temporal alignment. Experiments on temporal information retrieval (T-IR), TPOUR outperforms both unsupervised and supervised baselines. Compared to Qwen-Embedding-8B, despite being about 72.7x smaller, TPOUR Contriever improves average nDCG@5 by +4.04 (+12.15%) on explicit and +4.98 (+15.21%) on implicit queries. We provide our code at https://github.com/agwaBom/TPOUR.


翻译:无监督稠密检索器通过对比学习从无标签文档中学习语义相似性,从而具备可扩展性,但难以捕捉时间相关性,会检索出语义相关但时间错位的文档——当文档集合跨越多个时间段时(例如,为“2019年的总统是谁?”这一问题从2018-2025年的文档中检索会引入时间歧义),这一问题尤为关键。现有方法依赖带有显式时间戳的有监督训练,但此类标注并非总是可行。我们提出TPOUR(面向无监督检索器的时间偏好优化),该方法采用我们创新的训练方式——时间检索偏好优化(TRPO)。TRPO在时间维度上重新诠释了偏好学习,引导检索器偏好时间对齐的文档。TPOUR进一步通过学习得到的时间嵌入向量的插值操作,将其泛化至未见过的时段,从而实现持续的时间对齐。在时间信息检索(T-IR)实验表明,TPOUR在无监督和有监督基线方法上均取得了更优性能。相较于Qwen-Embedding-8B,尽管参数量小约72.7倍,TPOUR-Contriever在显式查询上的平均nDCG@5提升了+4.04(+12.15%),在隐式查询上提升了+4.98(+15.21%)。我们已在https://github.com/agwaBom/TPOUR 公开代码。

0
下载
关闭预览

相关内容

【NeurIPS2023】直接偏好优化,代替RLHF
专知会员服务
44+阅读 · 2024年1月7日
【NeurIPS2023】半监督端到端对比学习用于时间序列分类
专知会员服务
37+阅读 · 2023年10月17日
【CVPR2023】SViTT:稀疏视频文本Transformers的时间学习
专知会员服务
24+阅读 · 2023年4月19日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
104+阅读 · 2022年7月25日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
专知会员服务
23+阅读 · 2021年5月1日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
论文笔记之attention mechanism专题1:SA-Net(CVPR 2018)
统计学习与视觉计算组
16+阅读 · 2018年4月5日
【干货】监督学习与无监督学习简介
专知
14+阅读 · 2018年4月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
6+阅读 · 9月3日
何为协作武器?
专知会员服务
9+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
8+阅读 · 8月31日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员