Glossaries, technical specifications, and system prompts routinely ask language models to use familiar words in unfamiliar ways. When this works, the local rule does not install the new meaning on top of the old one; the pretrained prior keeps operating underneath, and its strength still shows through. We test this with a Stroop-style paradigm: a remapping rule (doctor means forest) pitted against the query word's lexical-prior distractor (hospital), with matched neutral controls. Across 11 open-weight models spanning four families and 1B-9B parameters, lexical-prior strength predicts interference even after item-level controls for answer prior, frequency, tokenization, and prompt wording. Activation patching on five aligned models locates a source-position triplet (definition subject, definition target, query word) that nearly fully recovers the conflict effect (aggregate $R \in [0.92, 1.06]$); a definition-target swap shows the triplet performs binding rather than identity matching. Dissociation experiments isolate target preservation as the binding-specific signature: distractor suppression occurs under matched, swap, and item-mismatched conditions alike, whereas target logit collapse occurs only when the definition-target position is corrupted. Behavior and mechanism converge on the same channel: the prior's strength both predicts which overrides fail and marks where the causal repair lands.


翻译:摘要:术语表、技术规范和系统提示常常要求语言模型以非惯常方式使用熟悉词汇。当这一要求生效时,局部规则并非将新语义覆盖于旧语义之上;预训练先验仍在底层持续运作,其强度依旧显现。我们通过Stroop式范式对此进行检验:将重映射规则("医生"意为"森林")与查询词的词汇先验干扰项("医院")相对抗,并设置匹配的中性对照项。在涵盖四个系列、参数量从1B到9B的11个开源权重模型中,即使在项目层面控制答案先验、词频、分词和提示措辞的情况下,词汇先验强度仍能预测干扰效应。对五个对齐模型进行激活修补后,发现一个源位置三元组(定义主语、定义目标、查询词)几乎完全恢复了冲突效应(整体相关系数$R \in [0.92, 1.06]$);定义目标交换实验表明,该三元组执行的是绑定功能而非身份匹配。分离实验将目标保留机制确定为绑定特异的标志性特征:干扰抑制在匹配、交换和项目错配条件下均会发生,而目标对数几率坍缩仅在定义目标位置被破坏时出现。行为与机制通过同一通路汇聚:先验强度既能预测哪些覆盖操作会失败,也标定了因果修复的落点所在。

0
下载
关闭预览

相关内容

【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
【CVPR2024】持续遗忘对于预训练视觉模型
专知会员服务
19+阅读 · 2024年3月20日
专知会员服务
10+阅读 · 2020年11月12日
论文浅尝 | 基于平行新闻的Bootstrapping关系抽取
开放知识图谱
13+阅读 · 2019年3月22日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月17日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
1+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
3+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
【CVPR2024】持续遗忘对于预训练视觉模型
专知会员服务
19+阅读 · 2024年3月20日
专知会员服务
10+阅读 · 2020年11月12日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员