Range-filtered approximate nearest neighbor search (RFANNS) is increasingly critical for modern vector databases. However, existing solutions suffer from severe index inflation and construction overhead. Furthermore, they rely exclusively on CPUs for the heavy indexing and query processing, failing to leverage the powerful computational capabilities of GPUs. In this paper, we present Garfield, a GPU-accelerated framework for multi-attribute range filtered ANNS that overcomes these bottlenecks through designing a lightweight index structure and hardware-aware execution pipeline. Garfield introduces the GMG index, which partitions data into cells and builds local graph indexes. By adding a constant number of cross-cell edges, it guarantees linear storage and indexing overhead. For queries, Garfield utilizes a cluster-guided ordering strategy that reorders query-relevant cells, enabling a highly efficient cell-by-cell traversal on the GPU that aggressively reuses candidates as entry points across cells. To handle datasets exceeding GPU memory, Garfield features a cell-oriented out-of-core pipeline. It dynamically schedules cells to minimize the number of active queries per batch and overlaps GPU computation with CPU-to-GPU index streaming. Extensive evaluations demonstrate that Garfield reduces index size by 4.4x, while delivering 119.8x higher throughput than state-of-the-art RFANNS methods.


翻译:范围过滤近似最近邻搜索(RFANNS)在现代向量数据库中愈发关键。然而,现有方案面临严重的索引膨胀和构建开销问题。此外,它们完全依赖CPU进行繁重的索引构建与查询处理,未能利用GPU强大的计算能力。本文提出Garfield——一种面向多属性范围过滤ANNS的GPU加速框架,通过设计轻量级索引结构与硬件感知执行流水线,突破了上述瓶颈。Garfield引入GMG索引,将数据划分为单元并构建局部图索引。通过添加恒定数量的跨单元边,该方案保证了线性存储与索引开销。对于查询,Garfield采用簇引导排序策略对查询相关单元进行重排序,在GPU上实现高效的逐单元遍历,并将候选节点作为入口点跨单元积极复用。为处理超出GPU内存的数据集,Garfield设计了面向单元的核外流水线。该流水线动态调度单元,最大化减少每批次活跃查询数量,并将GPU计算与CPU到GPU的索引流式传输重叠。广泛评估表明,Garfield将索引体积缩小4.4倍,同时吞吐量较当前最先进的RFANNS方法提升119.8倍。

0
下载
关闭预览

相关内容

【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
23+阅读 · 2023年7月23日
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
15+阅读 · 2021年6月26日
【知乎】超越Lexical:用于文本搜索引擎的语义检索框架
专知会员服务
22+阅读 · 2020年8月28日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
面向2027年及未来的海军情报改革
专知会员服务
3+阅读 · 8月5日
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
6+阅读 · 8月5日
《战略战术化:一项综合性述评》
专知会员服务
5+阅读 · 8月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员