This paper investigates whether source trustworthiness shapes Turkish evidential morphology and whether large language models (LLMs) track this sensitivity. We study the past-domain contrast between -DI and -mIs in controlled cloze contexts where the information source is overtly external, while only its perceived reliability is manipulated (High-Trust vs. Low-Trust). In a human production experiment, native speakers of Turkish show a robust trust effect: High-Trust contexts yield relatively more -DI, whereas Low-Trust contexts yield relatively more -mIs, with the pattern remaining stable across sensitivity analyses. We then evaluate 10 LLMs in three prompting paradigms (open gap-fill, explicit past-tense gap-fill, and forced-choice A/B selection). LLM behavior is highly model- and prompt-dependent: some models show weak or local trust-consistent shifts, but effects are generally unstable, often reversed, and frequently overshadowed by output-compliance problems and strong base-rate suffix preferences. The results provide new evidence for a trust-/commitment-based account of Turkish evidentiality and reveal a clear human-LLM gap in source-sensitive evidential reasoning.


翻译:本文研究信息来源可信度是否塑造土耳其语的证据形态,以及大型语言模型(LLM)能否追踪这种敏感性。我们在受控完形填空语境中考察-dI与-mIs的过去时态对立——信息源被明确标记为外部来源,仅其感知可信度受到操纵(高信任度 vs 低信任度)。人类产出实验显示,土耳其语母语者表现出稳健的信任效应:高信任度语境更倾向使用-dI,低信任度语境更倾向使用-mIs,该模式在敏感性分析中保持稳定。随后我们在三种提示范式(开放式填空、显式过去时填空、强制选择A/B对比)中评估了10个LLM。LLM的行为高度依赖模型和提示设置:部分模型显示出微弱或局部的信任一致性偏移,但整体效应不稳定,常出现反转,且普遍受输出合规性问题与强基线后缀偏好的影响。研究结果为基于信任/承诺的土耳其语证据性解释提供了新证据,并揭示了人类与LLM在源敏感推理能力上的显著差距。

0
下载
关闭预览

相关内容

大语言模型溯因推理的统一分类学与综述
专知会员服务
16+阅读 · 4月12日
面向大型语言模型推理的可信研究综述
专知会员服务
22+阅读 · 2025年9月6日
大型语言模型推理增强外部知识:综述
专知会员服务
38+阅读 · 2025年6月2日
迈向可信的人工智能:伦理和稳健的大型语言模型综述
专知会员服务
40+阅读 · 2024年7月28日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
语料库构建——自然语言理解的基础
计算机研究与发展
11+阅读 · 2017年8月21日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
专知会员服务
3+阅读 · 41分钟前
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
0+阅读 · 50分钟前
《无人机蜂群通信技术研究》50页
专知会员服务
4+阅读 · 今天14:55
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
3+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
7+阅读 · 7月17日
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
语料库构建——自然语言理解的基础
计算机研究与发展
11+阅读 · 2017年8月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员