Riddles are concise linguistic puzzles that describe an object or idea through indirect, figurative, or playful clues. They are a longstanding form of creative expression, requiring the solver to interpret hints, recognize patterns, and draw inferences to identify the answers. In this work, we introduce a simple pipeline for creating and evaluating analogy-based riddles. The system includes a triples creator that builds structured facts about a concept, a semantic mapper that selects attributes useful for analogy, a stylized generator that turns them into riddle clues, and a validator that collects all possible answers the riddle could point to. We use this validator to study whether large language models can recover the full answer set for different riddle types. Our case study shows that while models often guess the main intended answer, they frequently miss other valid interpretations. This highlights the value of riddles as a lightweight tool for examining reasoning coverage and ambiguity handling in language models.


翻译:谜语是一种简洁的语言谜题,通过间接、比喻或俏皮的线索描述某个物体或概念。作为一种历史悠久的创造性表达形式,它要求解谜者解读提示、识别模式并进行推理以确定答案。在本研究中,我们提出了一种用于创建和评估基于类比的谜语的简易流程。该系统包含:三元组生成器(构建关于概念的结构化事实)、语义映射器(选择适用于类比的属性)、风格化生成器(将属性转化为谜语线索)以及验证器(收集谜语可能指向的所有潜在答案)。我们利用该验证器研究大型语言模型是否能还原不同谜语类型的完整答案集合。案例研究表明,虽然模型常能猜出主要预期答案,但经常遗漏其他有效解释。这凸显了谜语作为一种轻量级工具的价值,可用于检验语言模型的推理覆盖范围与歧义处理能力。

0
下载
关闭预览

相关内容

生成器是一次生成一个值的特殊类型函数。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成【Generator】,简单的说就是在函数的执行过程中,yield语句会把你需要的值返回给调用生成器的地方,然后退出函数,下一次调用生成器函数的时候又从上次中断的地方开始执行,而生成器内的所有变量参数都会被保存下来供下一次使用。
在回答之前先解释:组合视觉推理综述
专知会员服务
15+阅读 · 2025年8月27日
【NAACL2024】大语言模型时代的可解释性,240页ppt
专知会员服务
45+阅读 · 2024年6月17日
面向知识库问答的问句语义解析研究综述
专知会员服务
33+阅读 · 2022年12月11日
【Chen Guanyi博士论文】汉语名词短语的计算生成,282页pdf
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
科普 | 知识图谱相关的名词解释
开放知识图谱
12+阅读 · 2017年12月4日
手把手丨用TensorFlow开发问答系统
大数据文摘
21+阅读 · 2017年11月29日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
The Case of the Mysterious Citations
Arxiv
0+阅读 · 2月5日
Arxiv
0+阅读 · 2月1日
Arxiv
0+阅读 · 1月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员