A language model's confidence on a physics problem deserves trust only if it ignores details irrelevant to the answer. We introduce DECOY (Distractor-Embedded Certified cOunterfactuals for phYsics): 155 families of four prompts differing in one irrelevant detail. A symbolic solver certifies that each edit preserves the answer. Families are labelled by the largest drop in the model's log-probability of the certified answer, using a threshold fixed before probe training. Qwen2.5-7B-Instruct is sensitive on 50.0% of the 140 families yielding labels, and Llama-3.1-8B-Instruct on 22.9%. Effects are largest when distractor values lie numerically close to the answer. A linear probe on Qwen's layer-18 hidden state, averaged over four renderings, predicts sensitivity before generation at AUROC 0.760 with whole families held out. A separately tuned single-rendering probe reaches 0.747. A frozen layer-16 probe reaches 0.820 pooled AUROC on 15 families built after training, though within-cue-type AUROC is lower (0.667-0.6875). Under a paired family bootstrap, the probe performs on par with a fitted token-entropy baseline (AUROC 0.727) and achieves the lowest Brier score among tested predictors (0.204 versus 0.214). Knocking out four attention heads at layer 16 cancels sensitivity on a 20-family panel, localising it to a narrow mechanism. These results show that Qwen's confidence can track irrelevant details, that this failure is detectable before generation, and that targeted intervention can suppress it. DECOY provides certified ground truth and paired-tested baselines for evaluating hidden-state monitors.


翻译:暂无翻译

0
下载
关闭预览

相关内容

近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
论文浅尝 | 基于知识图谱子图匹配以回答自然语言问题
开放知识图谱
26+阅读 · 2018年6月26日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
论文浅尝 | 基于知识图谱的子图匹配回答自然语言问题
开放知识图谱
27+阅读 · 2018年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
1+阅读 · 今天15:13
面向最后一战术英里:美军无人机创新尝试
专知会员服务
1+阅读 · 今天14:52
《美空军2026条令文件:对海压制作战》
专知会员服务
25+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
10+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
7+阅读 · 11月6日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员