1D-CNNs play a crucial role for time-series analysis on tiny smart sensor systems, e.g. for biosignal analysis, predictive maintenance, or structural health monitoring. LUTbased precomputation has emerged as an interesting optimization technique to implement such neural networks on FPGAs. The core idea is to precompute all possible outputs of a neural network layer and store them directly in the lookup tables of the FPGAs. This enables highly resource-efficient networks with ultra-low latency but suffers from poor scalability. Previous work has explored using depthwise-separable convolutions to improve scalability. In this paper, we generalize this approach to consider additional forms of grouped convolutions. Based on this, we propose a novel type of convolutional block and an algorithm to guide the choice of hyper parameters for this block. We evaluate our approach on a medical time-series dataset for predicting atrial fibrillation using the MIT-BIH database (ECG recordings). The resulting hardware accelerators are small enough to be deployed on an AMD Spartan 7 S15. They achieve a F1-Score of up to 95% while only requiring 2,844 LUTs and no DSPs or BRAM.


翻译:一维卷积神经网络在微型智能传感器系统的时序分析中至关重要,例如生物信号分析、预测性维护或结构健康监测等场景。基于查找表的预计算技术已成为在FPGA上实现此类神经网络的一种有前景的优化策略。其核心思想是预先计算神经网络层所有可能的输出,并将其直接存储在FPGA的查找表中。该方法实现了具有超低延迟的高资源效率网络,但存在扩展性差的缺陷。已有研究通过采用深度可分离卷积来提升扩展性。本文将该方法进一步泛化,考虑了更多形式的分组卷积。基于此,我们提出了一种新型卷积模块及指导该模块超参数选择的算法。我们利用MIT-BIH数据库(心电图记录)中的医学时序数据集对房颤预测方法进行了评估。最终生成的硬件加速器体积足够小,可部署于AMD Spartan 7 S15上。该加速器在仅消耗2,844个查找表且无需数字信号处理器或块随机存储器的情况下,实现了高达95%的F1分数。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
59+阅读 · 2022年3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
36+阅读 · 2022年3月21日
轻量化神经网络卷积设计研究进展
专知会员服务
58+阅读 · 2021年10月24日
专知会员服务
23+阅读 · 2021年7月15日
【中科院计算所】图卷积神经网络及其应用
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
精选 | 一张动图看懂卷积神经网络之卷积计算层
七月在线实验室
27+阅读 · 2017年6月21日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
59+阅读 · 2022年3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
36+阅读 · 2022年3月21日
轻量化神经网络卷积设计研究进展
专知会员服务
58+阅读 · 2021年10月24日
专知会员服务
23+阅读 · 2021年7月15日
相关资讯
【中科院计算所】图卷积神经网络及其应用
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
精选 | 一张动图看懂卷积神经网络之卷积计算层
七月在线实验室
27+阅读 · 2017年6月21日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员