Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-to-sparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static. Code used in our work can be found in github.com/google-research/rigl.


翻译:由于空间或推断时间的限制,许多应用需要稀疏的神经网络。在培训密集网络以产生稀疏的推断网络方面有大量工作,但将最大的可训练的稀少模型的大小限制在最大可训练的密集模型的大小。在本文件中,我们采用了一种方法来培训稀散的神经网络,其参数计数固定,在整个培训过程中固定计算成本固定,同时不牺牲与现有密集至扭曲的培训方法相比的准确性。我们的方法是利用参数大小和不常见的梯度计算来更新培训过程中稀疏网络的地形。我们表明,与以往的技术相比,这一方法需要较少的浮点操作(浮点操作)才能达到一定的准确度。我们的工作守则可以在Githribub.com/go-graleSearch中找到。

0
下载
关闭预览

相关内容

剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
54+阅读 · 2021年1月20日
专知会员服务
63+阅读 · 2020年3月4日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
已删除
将门创投
13+阅读 · 2019年4月17日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
“史上最强”BigGAN公开TensorFlow Hub demo!
AI100
3+阅读 · 2018年11月13日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
3+阅读 · 2018年3月14日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
9+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
5+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
27+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
相关资讯
已删除
将门创投
13+阅读 · 2019年4月17日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
“史上最强”BigGAN公开TensorFlow Hub demo!
AI100
3+阅读 · 2018年11月13日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员