Deep Neural Networks have become the dominant solution for Autonomous Driving perception, but their opacity conflicts with emerging Trustworthy AI guidelines and complicates safety assurance, debugging, and human oversight. While theoretical frameworks for safe and Explainable AI (XAI) exist, concrete implementations of Trustworthy AI for 3D scene understanding remain scarce. We address this gap by proposing a Trustworthy AI perception module that is remarkably robust, integrates faithful explainability, and calibrated uncertainty estimates. Building on a transformer-based detector, we derive explanation from the attention mechanism at inference time and validate their faithfulness using perturbation-based consistency tests. We further integrate an uncertainty estimation and calibration module, and apply robustness-enhancing training methods. Experiments show faithful saliency behavior, improved robustness, and well-calibrated uncertainty estimates. Finally, we deploy these Trustworthy AI elements in a prototype vehicle and provide an XAI Interface that visualizes documentation artifacts, model uncertainty state, and saliency maps, demonstrating the feasibility of trustworthy perception monitoring in real time. Supplementary materials are available at https://tillbeemelmanns.github.io/trustworthy_ai/ .


翻译:深度神经网络已成为自动驾驶感知的主流解决方案,但其不透明性与新兴的可信人工智能指南相冲突,并增加了安全保障、调试和人工监督的复杂性。尽管针对安全与可解释人工智能(XAI)的理论框架已存在,但针对三维场景理解的可信人工智能具体实现仍然稀缺。我们通过提出一个可信人工智能感知模块来填补这一空白,该模块具有显著鲁棒性、集成忠实可解释性以及校准的不确定性估计。基于Transformer检测器,我们在推理时从注意力机制中提取解释,并使用基于扰动的连续性测试验证其忠实性。我们进一步集成不确定性估计与校准模块,并应用增强鲁棒性的训练方法。实验展示了忠实的显著性行为、改进的鲁棒性以及良好校准的不确定性估计。最后,我们将这些可信人工智能要素部署到原型车辆中,并提供可解释人工智能界面,可视化文档产物、模型不确定性状态和显著性图,从而验证实时可信感知监控的可行性。补充材料见 https://tillbeemelmanns.github.io/trustworthy_ai/。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
可解释的人工智能在生物医学图像分析中的应用综述
专知会员服务
14+阅读 · 2025年7月11日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
可解释人工智能综合指南:从经典模型到大规模语言模型
专知会员服务
37+阅读 · 2024年12月28日
多模态可解释人工智能综述:过去、现在与未来
专知会员服务
45+阅读 · 2024年12月20日
《军事域可解释人工智能》
专知会员服务
56+阅读 · 2024年7月4日
可解释的安全可信自动驾驶人工智能:系统回顾
专知会员服务
36+阅读 · 2024年2月18日
可解释人工智能中的对抗攻击和防御
专知会员服务
43+阅读 · 2023年6月20日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
62+阅读 · 2020年9月13日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
【综述】医疗可解释人工智能综述论文
专知
33+阅读 · 2019年7月18日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2023年9月21日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
可解释的人工智能在生物医学图像分析中的应用综述
专知会员服务
14+阅读 · 2025年7月11日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
可解释人工智能综合指南:从经典模型到大规模语言模型
专知会员服务
37+阅读 · 2024年12月28日
多模态可解释人工智能综述:过去、现在与未来
专知会员服务
45+阅读 · 2024年12月20日
《军事域可解释人工智能》
专知会员服务
56+阅读 · 2024年7月4日
可解释的安全可信自动驾驶人工智能:系统回顾
专知会员服务
36+阅读 · 2024年2月18日
可解释人工智能中的对抗攻击和防御
专知会员服务
43+阅读 · 2023年6月20日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
62+阅读 · 2020年9月13日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员