成为VIP会员查看完整内容
VIP会员码认证
首页
主题
会员
服务
注册
·
登录
3
深度神经网络
·
梯度下降
·
2020 年 3 月 9 日
【Nature论文】深度网络中的梯度下降复杂度控制
专知AI搜索
专知会员服务
专知,提供专业可信的知识分发服务,让认知协作更快更好!
尽管在训练过程中缺乏显式的复杂性控制,如显式正则化项,但参数化过度的深层网络预测效果良好。对于指数型损失函数,我们通过在与分类相关的归一化权值方面展示梯度下降的有效正则化效果来解决这个难题。
成为VIP会员查看完整内容
https://www.nature.com/articles/s41467-020-14663-9
Complexity control by gradient descent in deep networks
点赞并收藏
3
暂时没有读者
41
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:
[email protected]
),我们会尽快为您处理
相关内容
深度神经网络
关注
34
深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
36+阅读 · 2020年7月5日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
28+阅读 · 2020年5月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
46+阅读 · 2020年5月23日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
【CVPR2020-Oral】用于任务感知的持续学习的条件信道门控网络
专知会员服务
21+阅读 · 2020年4月2日
【康奈尔大学-Facebook】特征归一化与数据增强,Feature Normalization
专知会员服务
57+阅读 · 2020年3月9日
重磅!Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
33+阅读 · 2020年2月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
28+阅读 · 2020年1月16日
【论文】深度学习的最优化:理论和算法(Optimization for deep learning: theory and algorithms)
专知会员服务
148+阅读 · 2019年12月28日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
ResNet架构可逆!多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
已删除
将门创投
10+阅读 · 2018年5月2日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
面试整理:关于代价函数,正则化
数据挖掘入门与实战
8+阅读 · 2018年3月29日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【强化学习】「ICML教程」深度强化学习,决策与控制(117 PPT)
产业智能官
41+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Arxiv
16+阅读 · 2020年3月12日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Arxiv
6+阅读 · 2019年4月3日
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Arxiv
5+阅读 · 2019年1月3日
On Improving Decentralized Hysteretic Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年12月15日
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Arxiv
4+阅读 · 2018年11月21日
Reinforcement Learning with Perturbed Rewards
Arxiv
4+阅读 · 2018年10月5日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
HONE: Higher-Order Network Embeddings
Arxiv
12+阅读 · 2018年1月28日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
深度神经网络
梯度下降
最新内容
分层反无人机系统发展新趋势
专知会员服务
5+阅读 · 9月3日
《使用基于模型的系统工程建模战斗机机动案例研究》
专知会员服务
7+阅读 · 9月3日
《集成增强现实与实时位置数据及仿真的辅助实时决策》
专知会员服务
5+阅读 · 9月3日
从可靠性到适配:人工智能赋能任务式指挥中的信任、适应与分布式认知
专知会员服务
9+阅读 · 9月2日
《利用大型语言模型自动生成SysML v2制导、导航和控制系统》170页
专知会员服务
13+阅读 · 9月2日
何为协作武器?
专知会员服务
9+阅读 · 9月1日
《战斗无人机蜂群设计:多智能体自主系统中的扩展与权衡》
专知会员服务
13+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
综述 | 低资源语言中的大模型安全对齐:方法、风险与评测体系
专知会员服务
7+阅读 · 8月31日
博士论文 | 因果NLP基础:面向语言数据与语言模型的因果推断框架
专知会员服务
10+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
8+阅读 · 8月31日
《创业战争:风险投资、硅谷、五角大楼与未来之战》200页
专知会员服务
10+阅读 · 8月31日
综述 | 扩散与流模型中的表示学习:从生成到感知再到统一应用
专知会员服务
6+阅读 · 8月30日
相关VIP内容
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
36+阅读 · 2020年7月5日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
28+阅读 · 2020年5月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
46+阅读 · 2020年5月23日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
【CVPR2020-Oral】用于任务感知的持续学习的条件信道门控网络
专知会员服务
21+阅读 · 2020年4月2日
【康奈尔大学-Facebook】特征归一化与数据增强,Feature Normalization
专知会员服务
57+阅读 · 2020年3月9日
重磅!Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
33+阅读 · 2020年2月15日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
28+阅读 · 2020年1月16日
【论文】深度学习的最优化:理论和算法(Optimization for deep learning: theory and algorithms)
专知会员服务
148+阅读 · 2019年12月28日
热门VIP内容
开通专知VIP会员 享更多权益服务
《使用基于模型的系统工程建模战斗机机动案例研究》
从可靠性到适配:人工智能赋能任务式指挥中的信任、适应与分布式认知
分层反无人机系统发展新趋势
《集成增强现实与实时位置数据及仿真的辅助实时决策》
相关资讯
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
ResNet架构可逆!多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
已删除
将门创投
10+阅读 · 2018年5月2日
Nature 一周论文导读 | 2018 年 3 月 29 日
科研圈
12+阅读 · 2018年4月7日
面试整理:关于代价函数,正则化
数据挖掘入门与实战
8+阅读 · 2018年3月29日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【强化学习】「ICML教程」深度强化学习,决策与控制(117 PPT)
产业智能官
41+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
相关论文
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Arxiv
16+阅读 · 2020年3月12日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Arxiv
6+阅读 · 2019年4月3日
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Arxiv
5+阅读 · 2019年1月3日
On Improving Decentralized Hysteretic Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年12月15日
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Arxiv
4+阅读 · 2018年11月21日
Reinforcement Learning with Perturbed Rewards
Arxiv
4+阅读 · 2018年10月5日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
HONE: Higher-Order Network Embeddings
Arxiv
12+阅读 · 2018年1月28日
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top