This study aims to ensure consistency in accuracy throughout the entire design flow in the implementation of edge AI hardware for few-shot learning, by implementing fixed-point data processing in the pre-training and evaluation phases. Specifically, the quantization module, called Brevitas, is applied to implement fixed-point data processing, which allows for arbitrary specification of the bit widths for the integer and fractional parts. Two methods of fixed-point data quantization, quantization-aware training (QAT) and post-training quantization (PTQ), are utilized in Brevitas. With Tensil, which is used in the current design flow, the bit widths of the integer and fractional parts need to be 8 bits each or 16 bits each when implemented in hardware, but performance validation has shown that accuracy comparable to floating-point operations can be maintained even with 6 bits or 5 bits each, indicating potential for further reduction in computational resources. These results clearly contribute to the creation of a versatile design and evaluation environment for edge AI hardware for few-shot learning.


翻译:本研究旨在通过在前训练与评估阶段实现定点数据处理,确保少样本学习边缘AI硬件实现过程中整个设计流程的精度一致性。具体而言,应用名为Brevitas的量化模块实现定点数据处理,该模块允许对整数部分与小数部分的位宽进行任意指定。Brevitas中采用了两种定点数据量化方法:量化感知训练(QAT)与训练后量化(PTQ)。在当前设计流程使用的Tensil框架中,硬件实现时整数部分与小数部分的位宽需各自为8位或16位,但性能验证表明,即使采用各自6位或5位的配置,仍能保持与浮点运算相当的精度,这显示出进一步减少计算资源的潜力。这些成果显著促进了少样本学习边缘AI硬件通用化设计与评估环境的构建。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
《面向边缘智能应用的AI模型优化技术研究》139页
专知会员服务
41+阅读 · 2025年8月12日
边缘AI行业深度:边缘AI硬件,引领硬件创新时代
专知会员服务
51+阅读 · 2024年4月18日
边缘智能研究进展
专知会员服务
80+阅读 · 2023年11月6日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
123+阅读 · 2020年3月30日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员