1D-CNNs play a crucial role for time-series analysis on tiny smart sensor systems, e.g. for biosignal analysis, predictive maintenance, or structural health monitoring. LUTbased precomputation has emerged as an interesting optimization technique to implement such neural networks on FPGAs. The core idea is to precompute all possible outputs of a neural network layer and store them directly in the lookup tables of the FPGAs. This enables highly resource-efficient networks with ultra-low latency but suffers from poor scalability. Previous work has explored using depthwise-separable convolutions to improve scalability. In this paper, we generalize this approach to consider additional forms of grouped convolutions. Based on this, we propose a novel type of convolutional block and an algorithm to guide the choice of hyper parameters for this block. We evaluate our approach on a medical time-series dataset for predicting atrial fibrillation using the MIT-BIH database (ECG recordings). The resulting hardware accelerators are small enough to be deployed on an AMD Spartan 7 S15. They achieve a F1-Score of up to 95% while only requiring 2,844 LUTs and no DSPs or BRAM.


翻译:一维卷积神经网络在微型智能传感器系统的时间序列分析中扮演着关键角色,例如用于生物信号分析、预测性维护或结构健康监测。基于查找表的预计算已成为一种在FPGA上实现此类神经网络的有趣优化技术。其核心思想是预计算神经网络层的所有可能输出,并将其直接存储在FPGA的查找表中。这使得网络具有极高的资源效率和超低延迟,但代价是可扩展性较差。先前的研究探索了使用深度可分离卷积来改进可扩展性。在本文中,我们推广了这一方法,考虑了更多形式的分组卷积。基于此,我们提出了一种新型卷积块以及一种指导该块超参数选择的算法。我们使用MIT-BIH数据库(心电图记录)在预测房颤的医学时间序列数据集上评估了我们的方法。生成的硬件加速器足够小,可以部署在AMD Spartan 7 S15上。它们实现了高达95%的F1分数,同时仅需2,844个查找表,且无需使用数字信号处理器或块随机存储器。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
59+阅读 · 2022年3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
36+阅读 · 2022年3月21日
轻量化神经网络卷积设计研究进展
专知会员服务
58+阅读 · 2021年10月24日
专知会员服务
23+阅读 · 2021年7月15日
【中科院计算所】图卷积神经网络及其应用
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
精选 | 一张动图看懂卷积神经网络之卷积计算层
七月在线实验室
27+阅读 · 2017年6月21日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
59+阅读 · 2022年3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
36+阅读 · 2022年3月21日
轻量化神经网络卷积设计研究进展
专知会员服务
58+阅读 · 2021年10月24日
专知会员服务
23+阅读 · 2021年7月15日
相关资讯
【中科院计算所】图卷积神经网络及其应用
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
精选 | 一张动图看懂卷积神经网络之卷积计算层
七月在线实验室
27+阅读 · 2017年6月21日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员