DARPA's AI Cyber Challenge (AIxCC, 2023--2025) is the largest competition to date for building fully autonomous cyber reasoning systems (CRSs) that leverage recent advances in AI -- particularly large language models (LLMs) -- to discover and remediate vulnerabilities in real-world open-source software. This paper presents the first systematic analysis of AIxCC. Drawing on design documents, source code, execution traces, and discussions with organizers and competing teams, we examine the competition's structure and key design decisions, characterize the architectural approaches of finalist CRSs, and analyze competition results beyond the final scoreboard. Our analysis reveals the factors that truly drove CRS performance, identifies genuine technical advances achieved by teams, and exposes limitations that remain open for future research. We conclude with lessons for organizing future competitions and broader insights toward deploying autonomous CRSs in practice.


翻译:DARPA人工智能网络挑战赛(AIxCC,2023–2025)是迄今规模最大的竞赛,旨在构建完全自主的网络推理系统(CRS),利用人工智能——特别是大语言模型(LLM)——的最新进展,以发现并修复真实世界开源软件中的漏洞。本文首次对AIxCC进行了系统性分析。基于设计文档、源代码、执行轨迹以及与组织方和参赛团队的讨论,我们审视了竞赛的结构与关键设计决策,刻画了决赛入围CRS的架构方法,并分析了超越最终排行榜的竞赛结果。我们的分析揭示了真正驱动CRS性能的因素,识别了各团队实现的实际技术进步,并揭示了仍待未来研究解决的局限性。最后,我们总结了组织未来竞赛的经验教训,并为在实践中部署自主CRS提供了更广泛的见解。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
DARPA人工智能领域最新进展及2023财年项目布局分析
专知会员服务
120+阅读 · 2023年4月19日
DARPA可解释人工智能
专知会员服务
135+阅读 · 2020年12月22日
【资源】kaggle数据科学竞赛方案集锦
专知
27+阅读 · 2019年9月4日
DARPA | 世界上最大的“5G+AI+仿真”探索项目
走向智能论坛
32+阅读 · 2019年7月29日
DARPA研发第三代人工智能 聚焦提高战场“智慧”
未来产业促进会
10+阅读 · 2019年3月13日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
8+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
14+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
10+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
9+阅读 · 8月31日
相关VIP内容
DARPA人工智能领域最新进展及2023财年项目布局分析
专知会员服务
120+阅读 · 2023年4月19日
DARPA可解释人工智能
专知会员服务
135+阅读 · 2020年12月22日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员