AI coding tools are widely adopted, but most teams plateau at prompt-and-review without a framework for systematic progression. This paper presents the AI Codebase Maturity Model (ACMM), a 6-level framework describing how codebases evolve from basic AI-assisted coding to fully autonomous systems. Inspired by CMMI, each level is defined by its feedback loop topology - the specific mechanisms that must exist before the next level becomes possible. I validate the model through a 100-day experience report maintaining KubeStellar Console, a CNCF Kubernetes dashboard built from scratch with Claude Code (Opus) and GitHub Copilot, and through the initial production deployment of Hive - an open-source multi-agent orchestration system that realizes Level 6: full autonomy. The system currently operates with 74 CI/CD workflows, 32 nightly test suites, 91% code coverage, and achieves bug-to-fix times under 30 minutes - 24 hours a day. The central finding: the intelligence of an AI-driven development system resides not in the AI model itself, but in the infrastructure of instructions, tests, metrics, and feedback loops that surround it. You cannot skip levels, and at each level, the thing that unlocks the next one is another feedback mechanism. Testing - the volume of test cases, the coverage thresholds, and the reliability of test execution - proved to be the single most important investment in the entire journey. v2 extends the model from 5 to 6 levels, adding Level 6 (Fully Autonomous) with Hive as reference implementation and Beads for cross-agent memory continuity, plus throughput acceleration data showing 5x PR throughput and 37x issue throughput from Level 2 to Level 6.


翻译:AI编程工具已被广泛采用,但大多数团队停留在“提示-审查”阶段,缺乏系统性进化的框架。本文提出AI代码库成熟度模型(ACMM),这是一个描述代码库从基础AI辅助编程演进至完全自主系统的六级框架。受CMMI启发,每一级由其反馈回路拓扑——即进入下一级前必须存在的特定机制——定义。我通过100天维护KubeStellar Console(一款从零使用Claude Code(Opus)和GitHub Copilot构建的CNCF Kubernetes仪表盘)的经验报告,以及实现第六级(完全自主)的开源多智能体编排系统Hive的初始生产部署,验证了该模型。该系统目前运行74个CI/CD工作流、32个夜间测试套件,代码覆盖率达91%,且实现每日24小时bug修复时间不超过30分钟。核心发现:AI驱动开发系统的智能不在于AI模型本身,而在于其周围构建的指令、测试、指标和反馈回路基础设施。你不能跳过任何级别,而在每一级,解锁下一级的关键正是另一个反馈机制。测试——测试用例数量、覆盖率阈值及测试执行可靠性——被证明是整个旅程中最重要的投入。v2版将模型从5级扩展至6级,新增第六级(完全自主),以Hive作为参考实现,并引入Beads实现跨智能体记忆连续性,同时给出吞吐量加速数据:从第二级到第六级,PR吞吐量提升5倍,问题吞吐量提升37倍。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI生成代码缺陷综述
专知会员服务
17+阅读 · 2025年12月8日
AI Agent:基于大模型的自主智能体
专知会员服务
251+阅读 · 2023年9月9日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
《AI 算法手册》目录 | 机器学习知识点系统性梳理!
数说工作室
24+阅读 · 2019年5月28日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
完备的 AI 学习路线,最详细的中英文资源整理
机器之心
29+阅读 · 2019年4月28日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
3+阅读 · 7月23日
伊朗不对称防空战略的演进
专知会员服务
4+阅读 · 7月23日
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员