As AI systems evolve from isolated predictors into complex, heterogeneous ecosystems of foundation models and specialized adapters, distinguishing genuine behavioral novelty from functional redundancy becomes a critical governance challenge. Here, we introduce a statistical framework for auditing model uniqueness based on In-Silico Quasi-Experimental Design (ISQED). By enforcing matched interventions across models, we isolate intrinsic model identity and quantify uniqueness as the Peer-Inexpressible Residual (PIER), i.e. the component of a target's behavior strictly irreducible to any stochastic convex combination of its peers, with vanishing PIER characterizing when such a routing-based substitution becomes possible. We establish the theoretical foundations of ecosystem auditing through three key contributions. First, we prove a fundamental limitation of observational logs: uniqueness is mathematically non-identifiable without intervention control. Second, we derive a scaling law for active auditing, showing that our adaptive query protocol achieves minimax-optimal sample efficiency ($dσ^2γ^{-2}\log(Nd/δ)$). Third, we demonstrate that cooperative game-theoretic methods, such as Shapley values, fundamentally fail to detect redundancy. We implement this framework via the DISCO (Design-Integrated Synthetic Control) estimator and deploy it across diverse ecosystems, including computer vision models (ResNet/ConvNeXt/ViT), large language models (BERT/RoBERTa), and city-scale traffic forecasters. These results move trustworthy AI beyond explaining single models: they establish a principled, intervention-based science of auditing and governing heterogeneous model ecosystems.


翻译:随着人工智能系统从孤立的预测器演变为由基础模型与专用适配器构成的复杂异构生态系统,区分真正的行为新颖性与功能冗余已成为关键治理挑战。本文提出一种基于**计算模拟准实验设计**的统计框架,用于审计模型独特性。通过跨模型实施匹配干预,我们分离出模型的内在身份,并将独特性量化为**同伴不可表达残差**——即目标模型行为中严格无法通过其同行的任何随机凸组合还原的组成部分;当PIER趋近于零时,则表征基于路由的替代成为可能。我们通过三项核心贡献建立了生态系统审计的理论基础:首先,我们证明观测日志存在根本局限——若无干预控制,独特性在数学上不可识别。其次,我们推导出主动审计的缩放定律,表明自适应查询协议可实现极小极大最优样本效率。第三,我们论证合作博弈论方法无法检测冗余。我们通过**设计集成合成控制**估计器实现该框架,并将其部署于多样化生态系统,包括计算机视觉模型、大规模语言模型及城市级交通预测系统。这些成果将可信人工智能的研究范畴从解释单一模型,推进至建立基于干预原则的异构模型生态系统审计与治理科学体系。

0
下载
关闭预览

相关内容

AI 智能体系统:体系架构、应用场景及评估范式
【斯坦福博士论文】为人类使用优化人工智能模型
专知会员服务
17+阅读 · 2025年6月20日
《人-AI协作设计:统计量方法》最新77页
专知会员服务
27+阅读 · 2025年5月3日
对比预训练和多模态生成式人工智能的统计理论
专知会员服务
22+阅读 · 2025年1月12日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
人工智能开源大模型生态研究
专知会员服务
62+阅读 · 2024年8月16日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
超全总结:神经网络加速之量化模型 | 附带代码
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
【斯坦福博士论文】为人类使用优化人工智能模型
专知会员服务
17+阅读 · 2025年6月20日
《人-AI协作设计:统计量方法》最新77页
专知会员服务
27+阅读 · 2025年5月3日
对比预训练和多模态生成式人工智能的统计理论
专知会员服务
22+阅读 · 2025年1月12日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
人工智能开源大模型生态研究
专知会员服务
62+阅读 · 2024年8月16日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员