Shielding is a prominent model-based technique to ensure safety of autonomous agents. Classical shielding aims to ensure that nothing bad ever happens and comes with strong guarantees about safety and maximal permissiveness. However, shielding systems for probabilistic safety, where something bad is allowed to happen with an acceptable probability, has proven to be more intricate. This paper presents a formal framework that conservatively extends classical shields to probabilistic safety. In this framework, we (i) demonstrate the impossibility of preserving the strong guarantees on safety and permissiveness, (ii) provide natural shields with weaker guarantees, and (iii) introduce offline and online shield constructions ensuring strong safety guarantees. The empirical evaluation highlights the practical advantages of the new shields, as well as their computational feasibility.


翻译:防护罩是一种基于模型的主流技术,用于确保自主智能体的安全性。经典防护罩旨在保证绝对不发生任何危险事件,并具有关于安全性和最大许可性的强有力保证。然而,针对允许以可接受概率发生危险事件的概率安全性建立防护系统,已被证明更为复杂。本文提出了一种形式化框架,该框架将经典防护罩保守地扩展至概率安全性场景。在此框架中,我们:(i) 证明了保留安全性与许可性方面强保证的不可行性;(ii) 提供了具有较弱保证的自然防护罩;(iii) 引入了确保强安全性保证的离线与在线防护罩构建方法。实验评估凸显了新防护罩的实用优势及其计算可行性。

0
下载
关闭预览

相关内容

《人工智能在网络防御中的机遇》
专知会员服务
12+阅读 · 6月8日
机密计算保障人工智能系统安全研究报告
专知会员服务
20+阅读 · 2025年1月20日
《信任还是毁灭:确保自主武器系统的可信性》
专知会员服务
27+阅读 · 2024年10月23日
《大型语言模型保护措施》综述
专知会员服务
29+阅读 · 2024年6月6日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
介绍WAF以及过滤机制
黑白之道
22+阅读 · 2019年2月5日
探秘各种主流周界安防技术产品
未来产业促进会
12+阅读 · 2018年11月16日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《异构无人水面艇集群作战自主制导算法》130页
《人工智能能通过美国陆军战争学院吗?》报告
军事域人工智能驱动系统的治理
专知会员服务
4+阅读 · 9月14日
相关资讯
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
介绍WAF以及过滤机制
黑白之道
22+阅读 · 2019年2月5日
探秘各种主流周界安防技术产品
未来产业促进会
12+阅读 · 2018年11月16日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员