在这次演讲中,我将讨论谷歌AI的最新工作,即“可微搜索索引”(DSI)。DSI表明,信息检索可以通过一个Transformer来完成,其中关于语料库的所有信息都编码在模型的参数中。DSI是一个新的范例,它学习了文本到文本的模型,将字符串查询直接映射到相关的docids;换句话说,DSI模型只使用其参数直接回答查询,极大地简化了整个检索过程。我们研究文档及其标识符如何表示的变化,训练过程的变化,以及模型和语料库大小之间的相互作用。实验证明,给予适当的设计选择,DSI显著优于强大的基线,如双编码器模型。此外,DSI显示了强大的泛化能力,在零样本设置中优于BM25基线。

成为VIP会员查看完整内容
10

相关内容

【Google】高效Transformer综述,Efficient Transformers: A Survey
专知会员服务
66+阅读 · 2022年3月17日
专知会员服务
15+阅读 · 2021年10月16日
专知会员服务
27+阅读 · 2021年10月12日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
Google Research新成果,让表格理解和检索更上一层楼!
夕小瑶的卖萌屋
1+阅读 · 2021年9月28日
一文详解Google最新NLP模型XLNet
PaperWeekly
18+阅读 · 2019年7月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
8+阅读 · 2008年12月31日
Arxiv
1+阅读 · 2022年4月15日
Arxiv
35+阅读 · 2022年3月14日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
10+阅读 · 7月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
8+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员