Glossaries, technical specifications, and system prompts routinely ask language models to use familiar words in unfamiliar ways. When this works, the local rule does not install the new meaning on top of the old one; the pretrained prior keeps operating underneath, and its strength still shows through. We test this with a Stroop-style paradigm: a remapping rule (doctor means forest) pitted against the query word's lexical-prior distractor (hospital), with matched neutral controls. Across 11 open-weight models spanning four families and 1B-9B parameters, lexical-prior strength predicts interference even after item-level controls for answer prior, frequency, tokenization, and prompt wording. Activation patching on five aligned models locates a source-position triplet (definition subject, definition target, query word) that nearly fully recovers the conflict effect (aggregate $R \in [0.92, 1.06]$); a definition-target swap shows the triplet performs binding rather than identity matching. Dissociation experiments isolate target preservation as the binding-specific signature: distractor suppression occurs under matched, swap, and item-mismatched conditions alike, whereas target logit collapse occurs only when the definition-target position is corrupted. Behavior and mechanism converge on the same channel: the prior's strength both predicts which overrides fail and marks where the causal repair lands.


翻译:摘要:术语表、技术规范和系统提示常常要求语言模型以非惯常方式使用熟悉词汇。当这一要求生效时,局部规则并非将新语义覆盖于旧语义之上;预训练先验仍在底层持续运作,其强度依旧显现。我们通过Stroop式范式对此进行检验:将重映射规则("医生"意为"森林")与查询词的词汇先验干扰项("医院")相对抗,并设置匹配的中性对照项。在涵盖四个系列、参数量从1B到9B的11个开源权重模型中,即使在项目层面控制答案先验、词频、分词和提示措辞的情况下,词汇先验强度仍能预测干扰效应。对五个对齐模型进行激活修补后,发现一个源位置三元组(定义主语、定义目标、查询词)几乎完全恢复了冲突效应(整体相关系数$R \in [0.92, 1.06]$);定义目标交换实验表明,该三元组执行的是绑定功能而非身份匹配。分离实验将目标保留机制确定为绑定特异的标志性特征:干扰抑制在匹配、交换和项目错配条件下均会发生,而目标对数几率坍缩仅在定义目标位置被破坏时出现。行为与机制通过同一通路汇聚:先验强度既能预测哪些覆盖操作会失败,也标定了因果修复的落点所在。

0
下载
关闭预览

相关内容

【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
【CVPR2024】持续遗忘对于预训练视觉模型
专知会员服务
19+阅读 · 2024年3月20日
专知会员服务
10+阅读 · 2020年11月12日
论文浅尝 | 基于平行新闻的Bootstrapping关系抽取
开放知识图谱
13+阅读 · 2019年3月22日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月17日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
4+阅读 · 9月3日
何为协作武器?
专知会员服务
9+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
8+阅读 · 8月31日
相关VIP内容
【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
【CVPR2024】持续遗忘对于预训练视觉模型
专知会员服务
19+阅读 · 2024年3月20日
专知会员服务
10+阅读 · 2020年11月12日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员