本论文旨在探讨以大型语言模型(LLMs)为代表的非结构化嵌入空间(unstructured embedding spaces),是否隐式编码了叙事理解所需的结构化知识。叙事创作(storytelling)是人类认知与社会交互的核心;通过探测人工智能系统对叙事结构的处理机制,不仅能揭示此类模型的能力边界,亦能审视人类智能的本质特征。

本研究循两条主要进路展开:其一,本文对现有研究领域进行了广泛综述,重新审视了关于语言模型中分布式表示(distributed representations)的基础性命题,并探讨了现代 Transformer 架构是否具备原生支持叙事理解任务的潜力。研究指出,当前架构在表征支撑叙事意义的深层结构方面仍存在显著局限。其二,本文考察了 LLMs 是否编码了人类叙事中所特有的结构化模式。通过针对经典文本(如《圣经》)中已证实的结构化模式设计一系列受控实验,本文验证了模型在以下方面的表现:(1) 识别交错对称(chiasmus)等内部修辞结构的能力;(2) 对跨文本并行关系的识别;(3) 对基于共享叙事框架而非表层形式(surface form)的文本段落的提取;(4) 基于深层概念结构而非词汇重叠(lexical overlap)的叙事类比推理。

综上所述,上述研究对 LLMs 所学习的非结构化嵌入空间能否支持结构化、层级化及类比推理进行了全面评估。研究结果阐明了当前语言模型的表征局限性,并指出未来有必要开发能够更显式地集成叙事结构的模型架构,从而推动认知建模以及依赖于鲁棒、可解释意义表示的下游任务的发展。

成为VIP会员查看完整内容
13

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【CMU博士论文】大型语言模型的隐性特性
专知会员服务
15+阅读 · 2025年10月18日
大语言模型中的检索与结构化增强生成综述
专知会员服务
33+阅读 · 2025年9月17日
【ETZH博士论文】语言模型编程
专知会员服务
25+阅读 · 2025年6月14日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
最新内容
美国2026最新发布《人工智能国家政策框架》
专知会员服务
2+阅读 · 今天9:26
大模型错因诊断分析
专知会员服务
3+阅读 · 4月9日
视频生成基础模型进展
专知会员服务
3+阅读 · 4月9日
《关键任务型人工智能的可靠性》
专知会员服务
5+阅读 · 4月9日
人工智能军事技术在中东地区的扩散
专知会员服务
4+阅读 · 4月9日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员