本项目的主要目标是开发一种原则性方法,在深度学习的生命周期中整合领域知识,有效降低模型复杂度,从而利用有限的训练数据训练出稳健而准确的深度模型。所提出的方法包括三大任务:

  • 整合来自辅助数据源的数据知识,以知识定义的结构正则化或参数空间约束的形式,修正深度学习的表述;
  • 整合模型知识,即利用同一任务中较简单模型的决策面来指导深度模型的学习,从而有效降低模型复杂度;
  • 整合优化器知识,旨在改进深度模型训练的优化程序。通过识别类似的学习任务并观察它们的梯度轨迹,可以训练优化器本身,以提供更快的收敛速度,还能避免不良的局部最优解;
  • 整合领域知识的一个副成果是为网络决策提供可解释性或可说明性,而这正是目前所缺乏的一种亟需的能力。
成为VIP会员查看完整内容
40

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《人工智能对战略和业务决策的影响》
专知会员服务
61+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
46+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
133+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
185+阅读 · 2020年9月7日
【干货书】机器学习导论第四版,903页pdf
专知
30+阅读 · 2022年11月26日
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
5+阅读 · 9月3日
何为协作武器?
专知会员服务
9+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
8+阅读 · 8月31日
相关VIP内容
《人工智能对战略和业务决策的影响》
专知会员服务
61+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
46+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
133+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
185+阅读 · 2020年9月7日
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员