Bayesian reasoning is a powerful mechanism for probabilistic inference in smart edge-devices. During such inferences, a low-precision arithmetic representation can enable improved energy efficiency. However, its impact on inference accuracy is not yet understood. Furthermore, general-purpose hardware does not natively support low-precision representation. To address this, we propose ProbLP, a framework that automates the analysis and design of low-precision probabilistic inference hardware. It automatically chooses an appropriate energy-efficient representation based on worst-case error-bounds and hardware energy-models. It generates custom hardware for the resulting inference network exploiting parallelism, pipelining and low-precision operation. The framework is validated on several embedded-sensing benchmarks.


翻译:Bayesian 推理是智能边缘装置概率推理的有力机制。在这种推理中,低精度算术代表可以提高能源效率,但是,它对推理准确性的影响还没有得到理解。此外,一般用途硬件本身并不支持低精度代表制。为了解决这个问题,我们提议ProbLP,这是一个使低精度概率推理硬件的分析和设计自动化的框架。它根据最差的错误和硬件能源模型自动选择适当的节能代表制。它为导致利用平行、管道和低精度操作的推论网络生成定制硬件。这个框架根据若干嵌入式测量基准进行验证。

0
下载
关闭预览

相关内容

专知会员服务
55+阅读 · 2020年9月7日
已删除
将门创投
6+阅读 · 2018年12月3日
Arxiv
0+阅读 · 2021年4月20日
Arxiv
5+阅读 · 2020年3月16日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
12+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关VIP内容
专知会员服务
55+阅读 · 2020年9月7日
相关资讯
已删除
将门创投
6+阅读 · 2018年12月3日
Top
微信扫码咨询专知VIP会员