We introduce a novel framework for learning context-aware runtime monitors for AI-based control ensembles. Machine-learning (ML) controllers are increasingly deployed in (autonomous) cyber-physical systems because of their ability to solve complex decision-making tasks. However, their accuracy can degrade sharply in unfamiliar environments, creating significant safety concerns. Traditional ensemble methods aim to improve robustness by averaging or voting across multiple controllers, yet this often dilutes the specialized strengths that individual controllers exhibit in different operating contexts. We argue that, rather than blending controller outputs, a monitoring framework should identify and exploit these contextual strengths. In this paper, we reformulate the design of safe AI-based control ensembles as a contextual monitoring problem. A monitor continuously observes the system's context and selects the controller best suited to the current conditions. To achieve this, we cast monitor learning as a contextual learning task and draw on techniques from contextual multi-armed bandits. Our approach comes with two key benefits: (1) theoretical safety guarantees during controller selection, and (2) improved utilization of controller diversity. We validate our framework in two simulated autonomous driving scenarios, demonstrating significant improvements in both safety and performance compared to non-contextual baselines.


翻译:本文提出了一种新颖的框架,用于为基于人工智能的控制集成系统学习上下文感知的运行时监控器。机器学习控制器因其解决复杂决策任务的能力,正日益被部署于(自主)信息物理系统中。然而,在陌生环境中,其准确性可能急剧下降,从而引发严重的安全隐患。传统的集成方法旨在通过多个控制器的平均或投票来提高鲁棒性,但这往往会削弱各个控制器在不同运行环境下所展现的专门优势。我们认为,监控框架不应混合控制器输出,而应识别并利用这些上下文相关的优势。在本文中,我们将设计安全的基于人工智能的控制集成系统重新表述为一个上下文监控问题。监控器持续观察系统的上下文,并选择最适合当前条件的控制器。为实现这一目标,我们将监控器学习建模为一个上下文学习任务,并借鉴上下文多臂赌博机的技术。我们的方法带来两个关键优势:(1)在控制器选择过程中提供理论上的安全保证;(2)提升对控制器多样性的利用效率。我们在两个模拟自动驾驶场景中验证了该框架,结果表明,与非上下文基线方法相比,其在安全性和性能方面均有显著提升。

0
下载
关闭预览

相关内容

基于神经网络的机器人学习与控制:回顾与展望
专知会员服务
33+阅读 · 2023年9月10日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
17+阅读 · 2023年7月4日
人工智能对指挥与控制系统的潜在影响
专知会员服务
59+阅读 · 2022年6月5日
专知会员服务
65+阅读 · 2021年7月5日
专知会员服务
41+阅读 · 2020年12月20日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
25+阅读 · 2020年3月18日
OpenAI科学家一文详解自监督学习
新智元
18+阅读 · 2019年11月20日
【智能金融】机器学习在反欺诈中应用
产业智能官
35+阅读 · 2019年3月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
8+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关VIP内容
基于神经网络的机器人学习与控制:回顾与展望
专知会员服务
33+阅读 · 2023年9月10日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
17+阅读 · 2023年7月4日
人工智能对指挥与控制系统的潜在影响
专知会员服务
59+阅读 · 2022年6月5日
专知会员服务
65+阅读 · 2021年7月5日
专知会员服务
41+阅读 · 2020年12月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员