Product Quantization (PQ) construction is deeply integrated into vector index construction for Approximate Nearest Neighbor Search (ANNS). The rapid growth in vector dimensionality and volume has significantly increased the computational cost of PQ. Existing GPU-based PQ accelerations are ill-suited for PQ construction due to its "one-to-one" execution pattern (one compute, one data load, i.e., data transfer overhead dominates). Although CPU-based solutions are prevalent, they are essentially general-purpose designs that fail to capture the intrinsic characteristics of PQ construction.In this paper, we propose CS-PQ, a Cache-friendly, SIMD-optimized PQ framework based on modern CPUs. CS-PQ introduces a vector-oriented SIMD paradigm that decouples quantization granularity from SIMD width by vectorizing across PQ centroids rather than subvector dimensions. It further restructures the execution pipeline to improve cache locality and reformulates PQ computation to eliminate redundant operations while preserving correctness. Experiments on large-scale datasets show that CS-PQ achieves up to 10.7 times speedup over state-of-the-art CPU-based PQ implementations without sacrificing ANNS accuracy.


翻译:乘积量化(PQ)的构建过程深度集成于近似最近邻搜索(ANNS)的向量索引构建中。随着向量维度与数据规模的急剧增长,PQ的计算成本显著增加。现有基于GPU的PQ加速方法因其"一对一"执行模式(即单次计算对应单次数据加载,数据传输开销占主导)而不适用于PQ构建。尽管基于CPU的解决方案较为普遍,但这些本质上属于通用设计,未能捕捉PQ构建的内在特征。本文提出CS-PQ——一种基于现代CPU的缓存友好型SIMD优化PQ框架。CS-PQ引入面向向量的SIMD计算范式,通过跨PQ质心而非子向量维度进行向量化,从而将量化粒度与SIMD宽度解耦。该方法进一步重构执行流水线以提升缓存局部性,并重新设计PQ计算流程,在保证正确性的同时消除冗余操作。在大规模数据集上的实验表明,CS-PQ在不牺牲ANNS精度的前提下,相较于现有最优的CPU端PQ实现可取得最高10.7倍的加速比。

0
下载
关闭预览

相关内容

【博士论文】基于冲量的加速优化算法
专知会员服务
28+阅读 · 2021年11月29日
专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
75+阅读 · 2020年12月7日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
强化学习开篇:Q-Learning原理详解
AINLP
37+阅读 · 2020年7月28日
17种深度强化学习算法用Pytorch实现
新智元
31+阅读 · 2019年9月16日
PyTorch实现多种深度强化学习算法
专知
36+阅读 · 2019年1月15日
【收藏】机器学习的Pytorch实现资源集合【附下载链接】
机器学习算法与Python学习
10+阅读 · 2018年9月8日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
超全总结:神经网络加速之量化模型 | 附带代码
入门 | 从Q学习到DDPG,一文简述多种强化学习算法
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
强化学习开篇:Q-Learning原理详解
AINLP
37+阅读 · 2020年7月28日
17种深度强化学习算法用Pytorch实现
新智元
31+阅读 · 2019年9月16日
PyTorch实现多种深度强化学习算法
专知
36+阅读 · 2019年1月15日
【收藏】机器学习的Pytorch实现资源集合【附下载链接】
机器学习算法与Python学习
10+阅读 · 2018年9月8日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
超全总结:神经网络加速之量化模型 | 附带代码
入门 | 从Q学习到DDPG,一文简述多种强化学习算法
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员