The design of embedded safety-critical systems such as those used in next-generation automotive and autonomous platforms, is increasingly challenged by escalating system complexity, hardware-software heterogeneity, and the integration of intelligent, data-driven components. Ensuring dependability in such systems requires a holistic approach that spans multiple abstraction layers and encompasses both design- and run-time assurance. Traditional methods for reliability, safety, and security management often fall short in addressing the dynamic and uncertain behaviors introduced by Artificial Intelligence (AI) and Machine Learning (ML) components, especially under stringent real-time, power, and safety constraints. While AI and ML offer powerful predictive, adaptive, and self-optimizing capabilities that can enhance system dependability, their inherent non-determinism, data-dependence, and lack of formal guarantees introduce new challenges for verification, validation, and certification. This paper explores emerging methodologies, architectures, and frameworks for designing dependable autonomous and embedded systems in the era of AI. It highlight advances in reliability modeling, secure system design, and certification approaches that account for imperfect, learning-enabled components, aiming to bridge the gap between AI innovation and certifiable system-level dependability.


翻译:嵌入式安全关键系统(如下一代汽车和自主平台中使用的系统)的设计正面临日益严峻的挑战,这些挑战源于系统复杂性提升、软硬件异构性以及智能数据驱动组件的集成。要确保此类系统的可信性,需要一种涵盖多个抽象层次并融合设计时与运行时保障的整体性方法。传统的可靠性、安全性与保障性管理方法往往难以应对人工智能(AI)和机器学习(ML)组件引入的动态与不确定性行为,尤其是在严苛的实时性、功耗和安全性约束下。尽管AI和ML具备强大的预测、自适应和自优化能力,可提升系统可信性,但其固有的非确定性、数据依赖性以及缺乏形式化保证的特性,为验证、确认和认证带来了新挑战。本文探讨了AI时代下可信自主与嵌入式系统设计中的新兴方法、架构与框架,重点阐述了考虑非完美、学习型组件的可靠性建模、安全系统设计及认证方法的最新进展,旨在弥合AI创新与可认证系统级可信性之间的鸿沟。

0
下载
关闭预览

相关内容

《军用自主人工智能系统的治理与安全》
专知会员服务
18+阅读 · 4月21日
机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
人工智能安全挑战及治理研究
专知会员服务
67+阅读 · 2023年6月18日
人工智能系统可信性度量评估研究综述
专知会员服务
96+阅读 · 2022年1月30日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
2+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员