知识是各种人工智能应用的重要前提。通常,知识来源于结构化知识库(如知识图谱和词典)或非结构化知识源(如维基百科文档)。近年来,研究人员发现,大型语言模型(LLM)在预训练过程中已经内化了大量知识。 受此启发,大型语言模型被用于生成常识性知识和事实性知识,以增强问答任务的背景信息。尽管研究结果令人鼓舞,但仍然存在许多悬而未决的问题:这些知识从何而来?大型语言模型掌握了多少知识?这些知识的可靠性如何?如果某些知识是错误的,我们如何修正?本教程探讨大型语言模型中的知识生命周期,包括:(1) 通过基础模型预训练知识的涌现;(2) 外部知识的注入;(3) 知识的更新与修改;(4) 知识的探测与生成;(5) 多模态知识的整合,包括对物理世界的理解和程序性规划。我们的目标受众主要来自自然语言处理(NLP)、人工智能(AI)和机器学习(ML)社区。参与者将获得对近期研究进展的全面回顾,并深入分析知识与大型语言模型交互的未来方向。

目前,关注该生命周期不同阶段的研究人员分散在机器学习的不同子社区:知识的探测与编辑通常属于可解释性研究范畴;知识注入通常是特定于应用的,主要在对话系统、问答、信息抽取和摘要任务中探讨;多模态知识(如物理世界知识和程序规划知识)则更多由计算机视觉和机器人学社区研究。本教程旨在将这些研究人员汇聚在一起,促进跨领域合作,从而形成对该问题更全面的理解。

成为VIP会员查看完整内容
39

相关内容

【AAAI2024教程】在规划中大型语言模型的作用,181页ppt
专知会员服务
78+阅读 · 2024年2月22日
【RecSys 2023教程】大型语言模型推荐,101页ppt
专知会员服务
71+阅读 · 2023年11月12日
【ACL2023教程】自然语言的复杂推理,240多页ppt
专知会员服务
56+阅读 · 2023年7月13日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
4+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
6+阅读 · 6月6日
ICML 2026 | 演化选择的因果建模
专知会员服务
7+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
7+阅读 · 6月5日
AgentOps综述:智能体系统运维框架
专知会员服务
17+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
14+阅读 · 6月4日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员