本项目的主要目标是开发一种原则性方法,在深度学习的生命周期中整合领域知识,有效降低模型复杂度,从而利用有限的训练数据训练出稳健而准确的深度模型。所提出的方法包括三大任务:

  • 整合来自辅助数据源的数据知识,以知识定义的结构正则化或参数空间约束的形式,修正深度学习的表述;
  • 整合模型知识,即利用同一任务中较简单模型的决策面来指导深度模型的学习,从而有效降低模型复杂度;
  • 整合优化器知识,旨在改进深度模型训练的优化程序。通过识别类似的学习任务并观察它们的梯度轨迹,可以训练优化器本身,以提供更快的收敛速度,还能避免不良的局部最优解;
  • 整合领域知识的一个副成果是为网络决策提供可解释性或可说明性,而这正是目前所缺乏的一种亟需的能力。
成为VIP会员查看完整内容
38

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《人工智能对战略和业务决策的影响》
专知会员服务
59+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
45+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
132+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
184+阅读 · 2020年9月7日
【干货书】机器学习导论第四版,903页pdf
专知
30+阅读 · 2022年11月26日
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
11+阅读 · 5月30日
相关VIP内容
《人工智能对战略和业务决策的影响》
专知会员服务
59+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
45+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
132+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
184+阅读 · 2020年9月7日
相关基金
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员