Although mixed precision arithmetic has recently garnered interest for training dense neural networks, many other applications could benefit from the speed-ups and lower storage cost if applied appropriately. The growing interest in employing mixed precision computations motivates the need for rounding error analysis that properly handles behavior from mixed precision arithmetic. We develop mixed precision variants of existing Householder QR algorithms and show error analyses supported by numerical experiments.


翻译:虽然混合精密算术最近吸引了对密集神经网络培训的兴趣,但许多其他应用软件如果应用得当,也可以受益于超速和较低的储存成本。 使用混合精确计算法的兴趣日益增长,这促使有必要进行四舍五入的错误分析,从混合精确算法中正确处理行为。 我们开发了现有住户QR算法的混合精密变量,并展示了由数字实验支持的错误分析。

0
下载
关闭预览

相关内容

【上海交大】<操作系统> 2021课程,附课件
专知会员服务
42+阅读 · 2021年4月3日
专知会员服务
51+阅读 · 2020年12月14日
已删除
将门创投
6+阅读 · 2019年9月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年9月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
Top
微信扫码咨询专知VIP会员