Mobile network operators are increasingly exploring the use of artificial intelligence (AI) to automate network tasks such as cell selection and mobility management. Current assurance methods for these AI functions are forms of output testing. They check what a function decides, but they cannot show why it decided that way, and two functions can pass the same tests for different reasons. In this paper, we propose mechanistic auditing, which inspects the internal features of an AI function and checks them against machine-verifiable 3GPP specifications. We set out a three-step auditing principle that locates protocol-relevant features, verifies whether decisions depend on them, and audits each decision against them. We then present an audit-native network architecture. In this architecture, a dedicated verification agent certifies each AI function before deployment and audits its decisions during operation. In a case study on a language model for LTE signalling, we find internal features that carry the 3GPP handover concepts. Removing them lowers the model's accuracy on handover tasks from 96% to 0%, while removing the same number of random features changes its accuracy by less than two points. An audit of a handover decision can therefore check whether these features are active when the model makes that decision. We also discuss the open challenges that remain before mechanistic auditing can enter telecommunications practice and standardisation.


翻译:暂无翻译

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
6G网络内生AI技术白皮书(1.0)
专知会员服务
31+阅读 · 2024年10月10日
6G 网络原生 AI 技术需求白皮书
专知会员服务
35+阅读 · 2022年5月18日
6G网络 AI 概念术语白皮书
专知会员服务
38+阅读 · 2022年5月18日
6G 物理层AI关键技术白皮书
专知会员服务
29+阅读 · 2022年5月18日
6G物理层AI关键技术白皮书(2022)
专知会员服务
46+阅读 · 2022年3月21日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
智慧公路建设方案
智能交通技术
30+阅读 · 2018年2月28日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2021年8月19日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
16+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
6G网络内生AI技术白皮书(1.0)
专知会员服务
31+阅读 · 2024年10月10日
6G 网络原生 AI 技术需求白皮书
专知会员服务
35+阅读 · 2022年5月18日
6G网络 AI 概念术语白皮书
专知会员服务
38+阅读 · 2022年5月18日
6G 物理层AI关键技术白皮书
专知会员服务
29+阅读 · 2022年5月18日
6G物理层AI关键技术白皮书(2022)
专知会员服务
46+阅读 · 2022年3月21日
相关资讯
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
智慧公路建设方案
智能交通技术
30+阅读 · 2018年2月28日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员