FLASH 项目的最初目标是利用丰富的结构化知识形式,开发新型高效的机器学习算法。具体来说,我们的假设是,适当使用结构化知识可以大幅减少在标准机器学习任务中实现一流性能所需的手工标记数据量,并解决两个关键挑战:

  • 利用结构:开发利用结构的通用算法,以便从很少或没有手工标记的示例中学习新概念。
  • 推断结构:通过主动从头开始学习或从其他领域转移结构,开发推断结构的通用算法。

我们项目最初的重点是:(1) 程序合成/结构化预测: 设计新的结构化预测和程序合成算法,并利用它们来推断和利用结构;(2) 研究神经表征(向量嵌入),并利用它们来开发将结构嵌入向量表征的新算法,并利用它来支持转移和利用结构;(3) 推断和利用领域知识和辅助信号作为诱导结构的一种方式,更好地解决转移学习问题,并开发新的受限深度学习算法来纳入辅助信号。

FLASH 计划执行了这一计划,并在上述所有领域做出了一系列理论和实践贡献。除了开发理论、算法和表征之外,我们还利用这些理论、算法和表征开发了自然语言和计算机视觉方面的应用。

此外,在 DARPA LwLL 项目过程中,由于大型预训练生成式人工智能模型(包括 ChatGPT 等大型语言模型 (LLM))的成功,该领域的重点发生了变化。虽然工作目标没有改变,但我们自己的研究议程适应了该领域的这些变化,同时与我们最初提议的广泛目标保持一致。例如,我们提出的大部分向量嵌入工作都扩展到了研究 LLM,我们在程序合成方面的工作也加入了神经肌张力元素,详见下文。

FLASH 计划在顶级会议上发表了大量论文,下文的描述不会涉及所有这些贡献。相反,我们将重点介绍每个技术领域的一些关键贡献,并请读者参阅以下丰富的参考文献以获取完整信息。

成为VIP会员查看完整内容
39

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
相关VIP内容
相关基金
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员