When an agent can articulate why something works, we typically take this as evidence of genuine understanding. This presupposes that effective action and correct explanation covary, and that coherent explanation reliably signals both. I argue that this assumption fails for contemporary Large Language Models (LLMs). I introduce what I call the Bidirectional Coherence Paradox: competence and grounding not only dissociate but invert across epistemic conditions. In low-observability domains, LLMs often act successfully while misidentifying the mechanisms that produce their success. In high-observability domains, they frequently generate explanations that accurately track observable causal structure yet fail to translate those diagnoses into effective intervention. In both cases, explanatory coherence remains intact, obscuring the underlying dissociation. Drawing on experiments in compiler optimization and hyperparameter tuning, I develop the Epistemic Triangle, a model of how priors, signals, and domain knowledge interact under varying observability. The results suggest that neither behavioral success nor explanatory accuracy alone suffices for attributing understanding. I argue that evaluating artificial epistemic agents requires a tripartite framework -- coherence, grounding, and a proper basing relation linking explanation to action. The systematic separation of knowing-that and knowing-how in LLMs thus challenges assumptions inherited from both epistemology and current AI evaluation practice.


翻译:当一个主体能够清晰阐明事物运作的机理时,我们通常视其为具备真正理解的证据。这一预设隐含了有效行动与正确解释的共变关系,且连贯的解释能可靠地指示二者。本文论证该假设对当代大语言模型(LLMs)并不成立。我引入所谓的"双向融贯悖论":在认知条件变化下,能力与 grounding 不仅发生分离,甚至呈现反转关系。在低可观测性域中,LLMs 常能成功行动,却错误识别其成功产生的机制;在高可观测性域中,它们能生成准确追踪可观测因果结构的解释,却无法将诊断转化为有效干预。两种情形下,解释性融贯性依然完整,掩盖了底层的分离现象。基于编译器优化与超参数调优实验,我提出"认知三角形"模型,阐明先验知识、信号与领域知识在不同可观测性条件下的交互机制。结果表明,行为成功与解释准确性均不足以支撑理解归因。本文主张,评估人工认知主体需要三元框架——融贯性、grounding 以及连接解释与行动的正确奠基关系。LLMs 中"知其然"与"知其所以然"的系统性分离,由此挑战了源自认知论与当前 AI 评估实践的双重预设。

0
下载
关闭预览

相关内容

AgentOps综述:分类、挑战与未来方向
专知会员服务
40+阅读 · 2025年8月6日
大语言模型中幻觉问题的综合综述
专知会员服务
24+阅读 · 2025年7月8日
174页!《大语言模型》最新综述:能力与局限性分析
专知会员服务
64+阅读 · 2025年1月12日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员