本项目的主要目标是开发一种原则性方法,在深度学习的生命周期中整合领域知识,有效降低模型复杂度,从而利用有限的训练数据训练出稳健而准确的深度模型。所提出的方法包括三大任务:

  • 整合来自辅助数据源的数据知识,以知识定义的结构正则化或参数空间约束的形式,修正深度学习的表述;
  • 整合模型知识,即利用同一任务中较简单模型的决策面来指导深度模型的学习,从而有效降低模型复杂度;
  • 整合优化器知识,旨在改进深度模型训练的优化程序。通过识别类似的学习任务并观察它们的梯度轨迹,可以训练优化器本身,以提供更快的收敛速度,还能避免不良的局部最优解;
  • 整合领域知识的一个副成果是为网络决策提供可解释性或可说明性,而这正是目前所缺乏的一种亟需的能力。
成为VIP会员查看完整内容
40

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《人工智能对战略和业务决策的影响》
专知会员服务
61+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
46+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
133+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
185+阅读 · 2020年9月7日
【干货书】机器学习导论第四版,903页pdf
专知
30+阅读 · 2022年11月26日
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
8+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关VIP内容
《人工智能对战略和业务决策的影响》
专知会员服务
61+阅读 · 2023年12月17日
【2023新书】基于模型的机器学习,428页pdf
专知会员服务
158+阅读 · 2023年11月14日
《通过自适应蜂群智能实现认知物联网系统》
专知会员服务
46+阅读 · 2023年10月29日
《JADC2中实现分布式执行: 单元级情报案例研究》中文版
专知会员服务
133+阅读 · 2023年8月22日
【新书】基于物理的深度学习,220页pdf
专知会员服务
167+阅读 · 2021年9月15日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
185+阅读 · 2020年9月7日
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员