Can AI systems discover genuinely new knowledge through iterative self improvement, and if so, at what cost? We introduce the NOVA framework, which models the common ``generate, verify, accumulate, retrain'' loop as an adaptive sampling process over a knowledge space. We identify sufficient conditions under which accumulated genuine knowledge eventually covers a finite domain, and show how their violations produce distinct failure modes: contamination, forgetting, exploration failure, and acceptance failure. We then analyze imperfect verification and identify a contamination trap: as easy-to-find knowledge is exhausted, the model mass assigned to new valid artifacts shrinks, so even small false-positive rates can cause invalid artifacts to enter the knowledge base faster than genuine discoveries. We clarify that Good--Turing estimation is a local batch-diversity diagnostic, not an estimator of the historically undiscovered valid mass that governs long-term discovery. Under a separate tail-equivalence assumption relating the model's effective discovery distribution to a Zipf law with exponent $α>1$, we prove that the cumulative generation cost required to obtain $D$ distinct genuine discoveries satisfies $R_{\mathrm{cum}}(D)=Θ(c_{\mathrm{gen}}D^α)$, where $c_{\mathrm{gen}}$ is the per-candidate generation cost. This scaling law quantifies asymptotic diminishing returns as the discovery frontier advances. Finally, we formalize human amplification through guidance, generation, and verification, explaining why expert input is most valuable near autonomous exploration barriers.


翻译:人工智能系统能否通过迭代自我改进发现真正的新知识?如果可以,代价是什么?我们引入NOVA框架,将常见的“生成、验证、积累、再训练”循环建模为知识空间上的自适应采样过程。我们识别了在新知识逐步积累最终覆盖有限域时所需的充分条件,并展示了这些条件如何失效导致不同的失败模式:污染、遗忘、探索失败和接受失败。接着,我们分析了不完美验证并识别出“污染陷阱”:当易于发现的知识被耗尽时,模型分配给有效新产物的质量缩小,因此即使是较小的假阳性率也会导致无效产物进入知识库的速度超过真正发现的积累。我们澄清了Good-Turing估计是一种局部批次多样性诊断工具,而非控制长期发现的未发现有效质量的估计量。在关于模型有效发现分布与指数α>1的齐普夫定律相关的尾等价假设下,我们证明了获得D个不同真正发现所需的累积生成成本满足R_cum(D)=Θ(c_gen D^α),其中c_gen是每个候选的生成成本。这个缩放律量化了随着发现前沿推进而产生的渐近收益递减现象。最后,我们正式化了人类通过指导、生成和验证进行的放大作用,解释了专家输入为何在自主探索障碍附近最具价值。

0
下载
关闭预览

相关内容

重磅!华为等发布《知识计算白皮书》,65页ppt
专知会员服务
171+阅读 · 2022年6月6日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
【北大】知识图谱的关键技术及其智能应用
专知
112+阅读 · 2019年9月19日
为什么说深耕AI领域绕不开知识图谱?
人工智能学家
33+阅读 · 2019年5月30日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
专知会员服务
1+阅读 · 今天15:24
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 今天15:15
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
2+阅读 · 今天15:11
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
重磅!华为等发布《知识计算白皮书》,65页ppt
专知会员服务
171+阅读 · 2022年6月6日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员