This study evaluates whether state-of-the-art large language models capture the binding relations of Turkish reflexive pronouns. We construct a balanced evaluation set of 100 Turkish sentences that systematically pit local against non-local antecedents for the reflexives kendi and kendisi. We compare two contrasting systems: an OpenAI chain-of-thought model optimized for multi-step reasoning and Trendyol-LLM-7B-base-v0.1, a LLaMA 2 derived model extensively fine-tuned on Turkish data. Antecedent choice is assessed using a combined paradigm that integrates sentence-level perplexity with a forced-choice comparison between minimally differing continuations. Overall, Trendyol-LLM favors local bindings in approximately 70 percent of trials, exhibiting a robust locality bias consistent with a preference for structurally proximate antecedents. By contrast, the OpenAI model (o1 Mini) distributes its choices nearly evenly between local and long-distance readings, suggesting weaker or less consistent sensitivity to locality in this binding configuration. Taken together, these results reveal a marked contrast in binding behavior across the two systems and motivate closer analysis of how model architecture, training data, and inference-time reasoning strategies shape the representation of Turkish anaphoric dependencies.


翻译:本研究评估了当前最先进的大语言模型是否能够捕捉土耳其语反身代词的约束关系。我们构建了一个包含100个土耳其语句子的平衡评估集,系统性地对比了反身代词kendi和kendisi的局部先行词与非局部先行词。我们比较了两个对比系统:一个为多步推理优化的OpenAI思维链模型,以及基于LLaMA 2架构、经过大量土耳其语数据微调的Trendyol-LLM-7B-base-v0.1模型。通过结合句子级困惑度与最小差异续写强制选择对比的复合评估范式,对先行词选择进行了评估。总体而言,Trendyol-LLM在大约70%的试验中倾向于局部约束,表现出稳健的局部性偏好,这与对结构邻近先行词的倾向一致。相比之下,OpenAI模型(o1 Mini)在局部解读与长距离解读之间的选择分布近乎均等,表明其在该约束配置中对局部性的敏感性较弱或较不一致。综合来看,这些结果揭示了两系统在约束行为上的显著差异,并推动了对模型架构、训练数据及推理时策略如何塑造土耳其语照应依存表征的深入分析。

0
下载
关闭预览

相关内容

RecInterpreter:架起大语言模型与传统推荐模型的桥梁
专知会员服务
54+阅读 · 2023年11月9日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
从Seq2seq到Attention模型到Self Attention(二)
量化投资与机器学习
23+阅读 · 2018年10月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
RecInterpreter:架起大语言模型与传统推荐模型的桥梁
专知会员服务
54+阅读 · 2023年11月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员