Distributed collaborative intelligence (DCI), encompassing edge-to-edge architectures, federated learning, transfer learning, and swarm systems, creates environments in which emergent risk is structurally unavoidable: locally correct decisions by individual agents compose into globally unacceptable behavioral trajectories under uncertainty. Existing approaches such as constrained optimization, safe reinforcement learning, and runtime assurance evaluate acceptability at the level of individual actions rather than across behavioral trajectories, and none addresses the multi-participant, uncertainty-laden nature of DCI deployments. This paper introduces mechanical conscience (MC), a novel concept and simplified mathematical framework that operationalizes trajectory-level normative regulation for both single-agent and distributed intelligent systems. Mechanical conscience is defined as a supervisory filter that minimally corrects a baseline policy's actions to reduce cumulative deviation from a normatively admissible region, while accounting for epistemic uncertainty. We introduce associated constructs, conscience score, mechanical guilt, and resonant dependability, that provide an interpretable vocabulary and computable governance signals for this emerging field. Core theoretical properties are established: admissibility equivalence, existence of optimal regulation, and monotonic deviation reduction. Illustrative results demonstrate that MC-regulated agents maintain trajectory-level normative acceptability where conventional controllers drift outside admissible bounds, and that the framework naturally extends to suppress interaction-induced emergent risk in multi-agent DCI settings.


翻译:分布式协同智能(DCI),涵盖边缘到边缘架构、联邦学习、迁移学习和群体系统,创造了结构上不可避免涌现风险的环境:个体智能体在局部正确的决策,在不确定性条件下组合成全局不可接受的行为轨迹。现有方法如约束优化、安全强化学习和运行时保障,仅在个体动作层面而非行为轨迹层面评估可接受性,且均未应对DCI部署中多参与者、充满不确定性的本质。本文提出机械良知(MC)这一新颖概念与简化的数学框架,该框架为单智能体和分布式智能系统实现了轨迹层级规范性调控的操作化定义。机械良知被定义为一种监督滤波器,可在考虑认知不确定性的同时,对基线策略的动作进行最小化修正,以减少与规范性可接受区域的累积偏差。我们引入关联概念——良知分数、机械愧疚与共振可信赖性——为该新兴领域提供可解释的词汇体系与可计算的治理信号。核心理论性质得以确立:可接受性等价性、最优调控存在性以及单调偏差缩减性。示例结果表明,经MC调控的智能体能维持轨迹层级的规范性可接受性,而传统控制器则漂移出可接受边界;该框架可自然扩展至多智能体DCI场景中交互诱发涌现风险的抑制。

0
下载
关闭预览

相关内容

可信机器学习综述
专知会员服务
49+阅读 · 2024年7月15日
可信机器学习的公平性综述
专知会员服务
70+阅读 · 2021年2月23日
机器学习必备的数学基础有哪些?
人工智能头条
12+阅读 · 2019年10月18日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
机器学习必备手册
机器学习研究会
20+阅读 · 2017年10月24日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
5+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员