DARPA's AI Cyber Challenge (AIxCC, 2023--2025) is the largest competition to date for building fully autonomous cyber reasoning systems (CRSs) that leverage recent advances in AI -- particularly large language models (LLMs) -- to discover and remediate vulnerabilities in real-world open-source software. This paper presents the first systematic analysis of AIxCC. Drawing on design documents, source code, execution traces, and discussions with organizers and competing teams, we examine the competition's structure and key design decisions, characterize the architectural approaches of finalist CRSs, and analyze competition results beyond the final scoreboard. Our analysis reveals the factors that truly drove CRS performance, identifies genuine technical advances achieved by teams, and exposes limitations that remain open for future research. We conclude with lessons for organizing future competitions and broader insights toward deploying autonomous CRSs in practice.


翻译:DARPA人工智能网络挑战赛(AIxCC,2023–2025)是迄今规模最大的竞赛,旨在构建完全自主的网络推理系统(CRS),利用人工智能——特别是大语言模型(LLM)——的最新进展,以发现并修复真实世界开源软件中的漏洞。本文首次对AIxCC进行了系统性分析。基于设计文档、源代码、执行轨迹以及与组织方和参赛团队的讨论,我们审视了竞赛的结构与关键设计决策,刻画了决赛入围CRS的架构方法,并分析了超越最终排行榜的竞赛结果。我们的分析揭示了真正驱动CRS性能的因素,识别了各团队实现的实际技术进步,并揭示了仍待未来研究解决的局限性。最后,我们总结了组织未来竞赛的经验教训,并为在实践中部署自主CRS提供了更广泛的见解。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
DARPA人工智能领域最新进展及2023财年项目布局分析
专知会员服务
116+阅读 · 2023年4月19日
DARPA可解释人工智能
专知会员服务
133+阅读 · 2020年12月22日
【资源】kaggle数据科学竞赛方案集锦
专知
27+阅读 · 2019年9月4日
DARPA | 世界上最大的“5G+AI+仿真”探索项目
走向智能论坛
32+阅读 · 2019年7月29日
DARPA研发第三代人工智能 聚焦提高战场“智慧”
未来产业促进会
10+阅读 · 2019年3月13日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
DARPA人工智能领域最新进展及2023财年项目布局分析
专知会员服务
116+阅读 · 2023年4月19日
DARPA可解释人工智能
专知会员服务
133+阅读 · 2020年12月22日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员