Hyperdimensional Computing (HDC) represents data using extremely high-dimensional, low-precision vectors, termed hypervectors (HVs), and performs learning and inference through lightweight, noise-tolerant operations. However, the high dimensionality, sparsity, and repeated data movement involved in HDC make these computations difficult to accelerate efficiently on conventional processors. As a result, executing core HDC operations: binding, permutation, bundling, and similarity search: on CPUs or GPUs often leads to suboptimal utilization, memory bottlenecks, and limits on real-time performance. In this paper, our contributions are two-fold. First, we develop an image-encoding algorithm that, similar in spirit to convolutional neural networks, maps local image patches to hypervectors enriched with spatial information. These patch-level hypervectors are then merged into a global representation using the fundamental HDC operations, enabling spatially sensitive and robust image encoding. This encoder achieves 95.67% accuracy on MNIST and 85.14% on Fashion-MNIST, outperforming prior HDC-based image encoders. Second, we design an end-to-end accelerator that implements these compute operations on an FPGA through a pipelined architecture that exploits parallelism both across the hypervector dimensionality and across the set of image patches. Our Alveo U280 implementation delivers 0.09ms inference latency, achieving up to 1300x and 60x speedup over state-of-the-art CPU and GPU baselines, respectively.


翻译:高维计算(HDC)利用极高维度、低精度的向量(称为超向量)来表示数据,并通过轻量级、抗噪声的操作进行学习与推理。然而,HDC 所涉及的高维度、稀疏性以及重复的数据移动使得这些计算在传统处理器上难以高效加速。因此,在 CPU 或 GPU 上执行核心 HDC 操作——绑定、置换、捆绑与相似性搜索——往往导致利用率不足、内存瓶颈以及实时性能受限。本文的贡献主要有两方面。首先,我们开发了一种图像编码算法,其思想类似于卷积神经网络,将局部图像块映射到富含空间信息的超向量。这些块级超向量随后通过基本的 HDC 操作合并为全局表示,从而实现空间敏感且鲁棒的图像编码。该编码器在 MNIST 数据集上达到 95.67% 的准确率,在 Fashion-MNIST 上达到 85.14%,优于先前基于 HDC 的图像编码器。其次,我们设计了一个端到端加速器,通过流水线架构在 FPGA 上实现这些计算操作,该架构同时利用了超向量维度和图像块集合间的并行性。我们在 Alveo U280 上的实现实现了 0.09 毫秒的推理延迟,相比最先进的 CPU 和 GPU 基线分别实现了高达 1300 倍和 60 倍的加速。

0
下载
关闭预览

相关内容

迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
【MIT博士论文】高效深度学习计算的模型加速
专知会员服务
34+阅读 · 2024年8月23日
超维计算概念、应用及研究进展
专知会员服务
32+阅读 · 2023年7月30日
面向多GPU的图神经网络训练加速
专知会员服务
24+阅读 · 2023年1月19日
图计算加速架构综述
专知会员服务
51+阅读 · 2021年4月5日
专知会员服务
81+阅读 · 2020年6月20日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员