We measure LLM probability updates on $δ$-SNLI premise-hypothesis pairs across the Multi-Candidate Verbalization (MCV) family. Separate calls elicit priors and posteriors; directional movement s signs changes by the annotated direction. We cross stated vs. reported wording with Direct single estimates (D0) vs. Multi-Candidate Weighted elicitation (MCW; five weighted estimates, V0, weighted mean M_W). Frozen formal tests cover 15 configurations (23,400 planned units): 3 primary (Qwen3-8B thinking off, OLMo-2-7B, gpt-6.1-sol via codex; 6,600), 4 CLI-harnessed configurations (gpt-oss-120b, claude-sonnet-5.5, gemini-3.8-flash low/high; dnli-agy; 5,600), and 8 un-harnessed REST API configurations (dnli-api; 11,200). We add a 20-configuration, 8-provider dev ladder (3B-550B; 6,000 units) and a 2-model OpenAI 1+1+4 ablation of D0, Direct-CoT (D_CoT), MCW (V0), and Multi-Candidate Unweighted (MCU; V2 / M_U; 1,800 calls). All 15 reject H1 (s = +16.1 to +28.9 points) and H4a (endpoint reduction +0.065 to +0.391); 13 reject H2 (+2.0 to +8.9 points), except gpt-oss-120b (+0.9) and sf:qwen3.5-4b (-0.64). In 14 of 15 formal configurations, readouts obey Top-1 > MCW (M_W) > MCU (M_U). On 120 common pairs, API Qwen3 tracks local Qwen3 (H1 +18.72 vs. +18.90; H4a +0.265 vs. +0.254; H2 +3.78 vs. +1.67; H4b -9.03 vs. -6.70); local H2 rejects on all 240 pairs (+1.97), not this subset. API Gemma 31B (formal H4b -2.85, Top-1 +0.64; spread -13.3% / +7.6%) and Groq gpt-oss-120b (dev -4.15, +0.40; -18.4% / +12.2%) show small MCW costs and stated narrowing/reported widening without CLI harnesses. In OpenAI ablations, D_CoT keeps numeric-token entropy <1 bit; MCU (V2) shows smaller movement loss but halves spread and $ΔH_2$ vs. MCW (V0). Because $δ$-NLI annotates only direction, we make no claim about appropriate update magnitude. Code/data: https://github.com/asj252/llm-judgment-studies


翻译:暂无翻译

0
下载
关闭预览

相关内容

Llama-3-SynE:实现有效且高效的大语言模型持续预训练
专知会员服务
36+阅读 · 2024年7月30日
WSDM 2024| LLMs助力图学习?基于大模型的图数据增强
专知会员服务
27+阅读 · 2023年11月19日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
用 LDA 和 LSA 两种方法来降维和做 Topic 建模
AI研习社
13+阅读 · 2018年8月24日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
13+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
用 LDA 和 LSA 两种方法来降维和做 Topic 建模
AI研习社
13+阅读 · 2018年8月24日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员