Safety and assurance cases risk becoming detached from the understanding needed for responsible engineering and governance decisions. More broadly, the production and evaluation of critical socio-technical systems increasingly face an understanding challenge: pressures for increased tempo, reduced scrutiny, software complexity, and growing use of AI generated artefacts may produce outputs that appear coherent without supporting genuine human comprehension. We argue that understanding should become an explicit, assessable, and defensible component of decision making: what developers, assessors, and decision makers grasp about system behavior, evidence, assumptions, risks, and residual uncertainty. Drawing on Catherine Elgin's epistemology of understanding, we outline a conceptual foundation and then use Assurance 2.0 as an engineering route to operationalize using structured argumentation, evidence, confidence, defeaters, and theory based automation. This leads to two linked artefacts: an Understanding Basis, which justifies why available understanding is sufficient for a decision, and a Personal Understanding Statement, through which participants make their grasp explicit and challengeable. We also identify risks that automation may improve artefact production while weakening understanding, and we propose initial directions for evaluating both efficacy and epistemic impact.


翻译:安全与保障论证可能脱离负责任工程与治理决策所需的理解基础。更广泛而言,关键社会技术系统的开发与评估正日益面临理解挑战:对加速进程、降低审查力度、软件复杂性以及日益增多的AI生成产物的需求,可能产出看似连贯却缺乏真正人工理解的输出结果。我们认为,理解应成为决策中显性化、可评估且可辩护的组成部分——关乎开发者、评估者与决策者对系统行为、证据、假设、风险及残余不确定性的掌握程度。借鉴凯瑟琳·埃尔金的认知论体系,我们首先构建概念基础,继而以Assurance 2.0为工程路径,通过结构化论证、证据、置信度、反证因素及基于理论的自动化实现具体操作。由此产生两个关联产物:理解依据文档(阐明现有理解足以支撑决策的逻辑),以及个人理解声明(使参与者的认知状态显性化并接受质疑)。研究同时揭示自动化可能引发的风险——在提升产物质量的同时弱化实际理解,并针对功效与认知影响的双重评估提出初步方向。

0
下载
关闭预览

相关内容

《人工智能使能系统可靠性框架》
专知会员服务
20+阅读 · 4月27日
视频理解:从几何与语义表征到统一模型架构
专知会员服务
20+阅读 · 3月21日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
数据驱动的态势认知技术及发展思考
专知
19+阅读 · 2022年7月12日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
CCCF专栏 | 朱晨光:机器阅读理解:如何让计算机读懂文章
中国计算机学会
24+阅读 · 2019年2月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员