会员服务
人工智能 · 深度学习 · 梯度下降 · 自适应学习 · 斯坦福大学 (Stanford University) ·
2019 年 12 月 19 日
【斯坦福大学】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

目录：

  • 数据处理
    • 数据扩充
    • 批量归一化
  • 训练神经网络
    • Epoch
    • 最小批量
    • 交叉熵损失
    • 反向传播
    • 梯度下降
    • 更新权重
    • 梯度检查
  • 参数调整
    • Xavier初始化
    • 转移学习
    • 学习率
    • 自适应学习率
  • 正则化
    • Dropout
    • 权重调整
    • 提前停止
  • 良好训练
    • 过度拟合小批量
    • 梯度检查
成为VIP会员查看完整内容
https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-deep-learning-tips-and-tricks
29

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
【斯坦福大学课程】2021年深度多任务学习与元学习，CS 330: Deep Multi-Task and Meta Learning
【斯坦福大学课程】2021年深度多任务学习与元学习，CS 330: Deep Multi-Task and Meta Learning
专知会员服务
110+阅读 · 2022年3月2日
最新《机器学习最优化》课程笔记，36页pdf，Optimization for Machine Learning
专知会员服务
173+阅读 · 2020年5月10日
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
专知会员服务
148+阅读 · 2020年4月11日
【机器学习最优化课程笔记】Optimization for Machine Learning，36页pdf
【机器学习最优化课程笔记】Optimization for Machine Learning，36页pdf
专知会员服务
117+阅读 · 2020年3月25日
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
专知会员服务
34+阅读 · 2020年3月4日
【资源推荐】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》by Afshine Amidi, Shervine Amidi
【资源推荐】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》by Afshine Amidi, Shervine Amidi
专知会员服务
27+阅读 · 2019年12月19日
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
专知会员服务
198+阅读 · 2019年12月19日
【课程推荐】 深度学习中的几何（Geometry of Deep Learning）
【课程推荐】 深度学习中的几何（Geometry of Deep Learning）
专知会员服务
59+阅读 · 2019年11月10日
【麻省理工学院课程】MIT 6.S094: Deep Learning for Self-Driving Cars，深度学习和自动驾驶课程
【麻省理工学院课程】MIT 6.S094: Deep Learning for Self-Driving Cars，深度学习和自动驾驶课程
专知会员服务
53+阅读 · 2019年11月1日
【课程】伯克利2019全栈深度学习课程（附下载）
【课程】伯克利2019全栈深度学习课程（附下载）
专知会员服务
57+阅读 · 2019年10月29日
你有哪些深度学习（rnn、cnn）调参的经验？
你有哪些深度学习（rnn、cnn）调参的经验？
七月在线实验室
10+阅读 · 2019年3月27日
7个实用的深度学习技巧
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
资源 | 源自斯坦福CS229，机器学习备忘录在集结
资源 | 源自斯坦福CS229，机器学习备忘录在集结
机器之心
19+阅读 · 2018年8月22日
深度学习面试100题（第81-85题）
深度学习面试100题（第81-85题）
七月在线实验室
17+阅读 · 2018年8月6日
深度学习面试100题（第76-80题）
深度学习面试100题（第76-80题）
七月在线实验室
6+阅读 · 2018年8月3日
深度学习面试100题（第41-45题）
深度学习面试100题（第41-45题）
七月在线实验室
15+阅读 · 2018年7月18日
深度学习面试100题（第31-35题）
深度学习面试100题（第31-35题）
七月在线实验室
8+阅读 · 2018年7月16日
入门 | 深度学习模型的简单优化技巧
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
【教程】如何估算深度神经网络的最优学习率
【教程】如何估算深度神经网络的最优学习率
GAN生成式对抗网络
5+阅读 · 2017年11月18日
[学习] 这些深度学习网络训练技巧，你了解吗？
[学习] 这些深度学习网络训练技巧，你了解吗？
菜鸟的机器学习
7+阅读 · 2017年7月29日
A Survey of Deep Learning for Scientific Discovery
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
A Survey on Distributed Machine Learning
Arxiv
45+阅读 · 2019年12月20日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Meta-Transfer Learning for Few-Shot Learning
Meta-Transfer Learning for Few-Shot Learning
Arxiv
8+阅读 · 2018年12月6日
Deep Learning for Image Denoising: A Survey
Arxiv
5+阅读 · 2018年10月11日
A Survey on Deep Transfer Learning
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Improving Online Multiple Object tracking with Deep Metric Learning
Arxiv
7+阅读 · 2018年6月20日
Learning to Update for Object Tracking
Arxiv
8+阅读 · 2018年6月19日
NeuroNet: Fast and Robust Reproduction of Multiple Brain Image Segmentation Pipelines
Arxiv
5+阅读 · 2018年6月11日
Online Deep Metric Learning
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关主题
人工智能
深度学习
梯度下降
自适应学习
斯坦福大学 (Stanford University)
最新内容
美空军如何将人工智能从战场部署至后方机关
美空军如何将人工智能从战场部署至后方机关
专知会员服务
7+阅读 · 7月31日
《美战争部指令文件：网络空间效应与使能能力测试评估》
《美战争部指令文件：网络空间效应与使能能力测试评估》
专知会员服务
4+阅读 · 7月31日
《史诗怒火行动：多域前瞻评估》49页报告
《史诗怒火行动：多域前瞻评估》49页报告
专知会员服务
4+阅读 · 7月31日
《英国防部：未来空战系统数字化战略》33页
《英国防部：未来空战系统数字化战略》33页
专知会员服务
4+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
6+阅读 · 7月31日
“史诗怒火”行动：现代多域作战的重要节点
“史诗怒火”行动：现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
《下一代无线网络中的多无人机通信资源管理》
专知会员服务
8+阅读 · 7月30日
《高分辨率模拟下的聚合战斗建模：以“会战交锋”场景为例》
《高分辨率模拟下的聚合战斗建模：以“会战交锋”场景为例》
专知会员服务
9+阅读 · 7月30日
《人机协同在安全关键型操作决策中的应用》120页
《人机协同在安全关键型操作决策中的应用》120页
专知会员服务
8+阅读 · 7月30日
网络防御与空中力量网络防护：21世纪空中力量历史与理论的启示
网络防御与空中力量网络防护：21世纪空中力量历史与理论的启示
专知会员服务
6+阅读 · 7月30日
综述 | Memory for Large Language Models：大模型记忆机制全景
综述 | Memory for Large Language Models：大模型记忆机制全景
专知会员服务
9+阅读 · 7月29日
博士论文 | Riemannian Deep Learning：模块、网络与几何
博士论文 | Riemannian Deep Learning：模块、网络与几何
专知会员服务
9+阅读 · 7月29日
《越野作战环境下路径规划的多准则整数规划模型》
《越野作战环境下路径规划的多准则整数规划模型》
专知会员服务
11+阅读 · 7月29日
人工智能大语言模型引擎如何重塑全球冲突信息环境 最新50页
人工智能大语言模型引擎如何重塑全球冲突信息环境 最新50页
专知会员服务
8+阅读 · 7月29日
《防空系统对自主武器系统辩论中“有意义的人类控制”的启示》70页报告
《防空系统对自主武器系统辩论中“有意义的人类控制”的启示》70页报告
专知会员服务
8+阅读 · 7月29日
相关VIP内容
【斯坦福大学课程】2021年深度多任务学习与元学习，CS 330: Deep Multi-Task and Meta Learning
【斯坦福大学课程】2021年深度多任务学习与元学习，CS 330: Deep Multi-Task and Meta Learning
专知会员服务
110+阅读 · 2022年3月2日
最新《机器学习最优化》课程笔记，36页pdf，Optimization for Machine Learning
专知会员服务
173+阅读 · 2020年5月10日
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
【伯克利】最新《深度半监督学习》总述，146页ppt，Semi-Supervised Learning
专知会员服务
148+阅读 · 2020年4月11日
【机器学习最优化课程笔记】Optimization for Machine Learning，36页pdf
【机器学习最优化课程笔记】Optimization for Machine Learning，36页pdf
专知会员服务
117+阅读 · 2020年3月25日
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
【斯坦福大学】Dropout的隐性和显性正则化效应，Regularization Effects
专知会员服务
34+阅读 · 2020年3月4日
【资源推荐】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》by Afshine Amidi, Shervine Amidi
【资源推荐】深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》by Afshine Amidi, Shervine Amidi
专知会员服务
27+阅读 · 2019年12月19日
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
【斯坦福大学CS229】面向机器学习的线性代数和微积分要点速览(中文版)《CS 229 - Linear Algebra and Calculus refresher》by Afshine Amidi, Shervine Amidi
专知会员服务
198+阅读 · 2019年12月19日
【课程推荐】 深度学习中的几何（Geometry of Deep Learning）
【课程推荐】 深度学习中的几何（Geometry of Deep Learning）
专知会员服务
59+阅读 · 2019年11月10日
【麻省理工学院课程】MIT 6.S094: Deep Learning for Self-Driving Cars，深度学习和自动驾驶课程
【麻省理工学院课程】MIT 6.S094: Deep Learning for Self-Driving Cars，深度学习和自动驾驶课程
专知会员服务
53+阅读 · 2019年11月1日
【课程】伯克利2019全栈深度学习课程（附下载）
【课程】伯克利2019全栈深度学习课程（附下载）
专知会员服务
57+阅读 · 2019年10月29日
热门VIP内容
相关资讯
你有哪些深度学习（rnn、cnn）调参的经验？
你有哪些深度学习（rnn、cnn）调参的经验？
七月在线实验室
10+阅读 · 2019年3月27日
7个实用的深度学习技巧
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
资源 | 源自斯坦福CS229，机器学习备忘录在集结
资源 | 源自斯坦福CS229，机器学习备忘录在集结
机器之心
19+阅读 · 2018年8月22日
深度学习面试100题（第81-85题）
深度学习面试100题（第81-85题）
七月在线实验室
17+阅读 · 2018年8月6日
深度学习面试100题（第76-80题）
深度学习面试100题（第76-80题）
七月在线实验室
6+阅读 · 2018年8月3日
深度学习面试100题（第41-45题）
深度学习面试100题（第41-45题）
七月在线实验室
15+阅读 · 2018年7月18日
深度学习面试100题（第31-35题）
深度学习面试100题（第31-35题）
七月在线实验室
8+阅读 · 2018年7月16日
入门 | 深度学习模型的简单优化技巧
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
【教程】如何估算深度神经网络的最优学习率
【教程】如何估算深度神经网络的最优学习率
GAN生成式对抗网络
5+阅读 · 2017年11月18日
[学习] 这些深度学习网络训练技巧，你了解吗？
[学习] 这些深度学习网络训练技巧，你了解吗？
菜鸟的机器学习
7+阅读 · 2017年7月29日
相关论文
A Survey of Deep Learning for Scientific Discovery
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
A Survey on Distributed Machine Learning
Arxiv
45+阅读 · 2019年12月20日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Meta-Transfer Learning for Few-Shot Learning
Meta-Transfer Learning for Few-Shot Learning
Arxiv
8+阅读 · 2018年12月6日
Deep Learning for Image Denoising: A Survey
Arxiv
5+阅读 · 2018年10月11日
A Survey on Deep Transfer Learning
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Improving Online Multiple Object tracking with Deep Metric Learning
Arxiv
7+阅读 · 2018年6月20日
Learning to Update for Object Tracking
Arxiv
8+阅读 · 2018年6月19日
NeuroNet: Fast and Robust Reproduction of Multiple Brain Image Segmentation Pipelines
Arxiv
5+阅读 · 2018年6月11日
Online Deep Metric Learning
Arxiv
8+阅读 · 2018年5月15日
微信扫码咨询专知VIP会员
Top