We examine epistemological threats posed by human and LLM interaction. We develop collective epistemology as a theory of epistemic warrant distributed across human collectives, using bounded rationality and dual process theory as background. We distinguish internalist justification, defined as reflective understanding of why a proposition is true, from externalist justification, defined as reliable transmission of truths. Both are necessary for collective rationality, but only internalist justification produces reflective knowledge. We specify reflective knowledge as follows: agents understand the evaluative basis of a claim, when that basis is unavailable agents consistently assess the reliability of truth sources, and agents have a duty to apply these standards within their domains of competence. We argue that LLMs approximate externalist reliabilism because they can reliably transmit information whose justificatory basis is established elsewhere, but they do not themselves possess reflective justification. Widespread outsourcing of reflective work to reliable LLM outputs can weaken reflective standards of justification, disincentivize comprehension, and reduce agents' capacity to meet professional and civic epistemic duties. To mitigate these risks, we propose a three tier norm program that includes an epistemic interaction model for individual use, institutional and organizational frameworks that seed and enforce norms for epistemically optimal outcomes, and deontic constraints at organizational and or legislative levels that instantiate discursive norms and curb epistemic vices.


翻译:我们研究了人类与大型语言模型互动所带来的认识论威胁。我们以有限理性理论和双过程理论为背景,将集体认识论发展为一种关于认知保证在人类集体中分布的理论。我们区分了内在主义辩护——定义为对命题为何为真的反思性理解,与外在主义辩护——定义为真理的可靠传递。二者对于集体理性都是必要的,但只有内在主义辩护能产生反思性知识。我们将反思性知识具体界定为:行动者理解主张的评价基础;当该基础不可用时,行动者能持续评估真理来源的可靠性;并且行动者有责任在其能力范围内应用这些标准。我们认为,大型语言模型近似于外在主义的可靠论,因为它们能够可靠地传递那些其辩护基础已在别处确立的信息,但它们本身并不具备反思性辩护。将反思性工作广泛外包给可靠的大型语言模型输出,可能会削弱辩护的反思性标准,抑制理解动机,并降低行动者履行专业和公民认知责任的能力。为缓解这些风险,我们提出了一个三层次的规范方案,包括:供个体使用的认知互动模型;旨在播种并执行规范以实现认知最优结果的制度和组织框架;以及在组织或立法层面确立话语规范并遏制认知恶习的道义约束。

0
下载
关闭预览

相关内容

【NeurIPS2025】大型语言模型中关系解码线性算子的结构
专知会员服务
10+阅读 · 2025年11月2日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员