Analogical reasoning is a key driver of human generalization in problem-solving and argumentation. Yet, analogies between narrative structures remain challenging for machines. Cognitive engines for structural mapping are not directly applicable, as they assume pre-extracted entities, whereas LLMs' performance is sensitive to prompt format and the degree of surface similarity between narratives. This gap motivates a key question: What is the impact of enhancing structural mapping with LLM-derived abstractions on their analogical reasoning ability in narratives? To that end, we propose a modular framework named YARN (Yielding Abstractions for Reasoning in Narratives), which uses LLMs to decompose narratives into units, abstract these units, and then passes them to a mapping component that aligns elements across stories to perform analogical reasoning. We define and operationalize four levels of abstraction that capture both the general meaning of units and their roles in the story, grounded in prior work on framing. Our experiments reveal that abstractions consistently improve model performance, resulting in competitive or better performance than end-to-end LLM baselines. Closer error analysis reveals the remaining challenges in abstraction at the right level, in incorporating implicit causality, and an emerging categorization of analogical patterns in narratives. YARN enables systematic variation of experimental settings to analyze component contributions, and to support future work, we make the code for YARN openly available.


翻译:类比推理是人类在问题解决和论证中实现泛化的关键驱动力。然而,叙事结构之间的类比对于机器而言仍具挑战性。用于结构映射的认知引擎无法直接应用,因为它们假设实体已被预先提取,而大语言模型(LLM)的性能对提示格式和叙事间表面相似度高度敏感。这一差距引出了一个关键问题:将LLM生成的抽象用于增强结构映射,对机器在叙事中的类比推理能力有何影响?为此,我们提出一个模块化框架YARN(叙事推理的抽象生成框架),该框架利用LLM将叙事分解为单元,对这些单元进行抽象,随后将抽象结果传递给映射组件,该组件对齐不同故事中的元素以执行类比推理。我们基于先前关于框架的研究,定义并实现了四个抽象层级,这些层级既能捕捉单元的普遍含义,也能反映其在故事中的角色。实验表明,抽象一致地提升了模型性能,使其性能达到或优于端到端LLM基线。深入的错误分析揭示了在适当层级进行抽象、融入隐含因果关系方面存在的挑战,以及叙事中类比模式的新兴分类。YARN支持系统性地变化实验设置以分析各组件贡献,为支持未来研究,我们公开了YARN的代码。

0
下载
关闭预览

相关内容

类比推理亦称“类推”。推理的一种形式。根据两个对象在某些属性上相同或相似,通过比较而推断出它们在其他属性上也相同的推理过程。它是从观察个别现象开始的,因而近似归纳推理。但它又不是由特殊到一般,而是由特殊到特殊,因而又不同于归纳推理。分完全类推和不完全类推两种形式。完全类推是两个或两类事物在进行比较的方面完全相同时的类推;不完全类推是两个或两类事物在进行比较的方面不完全相同时的类推。
大语言模型溯因推理的统一分类学与综述
专知会员服务
16+阅读 · 4月12日
大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
56+阅读 · 2025年10月24日
迈向大型推理模型:基于大型语言模型的强化推理综述
专知会员服务
50+阅读 · 2025年1月17日
LlamaV-o1: 重新思考大语言模型中的逐步视觉推理
专知会员服务
9+阅读 · 2025年1月14日
万字长文: 检索增强 LLM
专知会员服务
111+阅读 · 2023年9月17日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
NLP 与 NLU:从语言理解到语言处理
AI研习社
15+阅读 · 2019年5月29日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
4+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
3+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
NLP 与 NLU:从语言理解到语言处理
AI研习社
15+阅读 · 2019年5月29日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员