Benchmarks increasingly guide deployment, procurement and scientific screening, yet a score supports only the response it records, not necessarily the deployment action. We introduce deployment-complete benchmarking, which tests whether benchmark evidence determines a deployment action. A benchmark is complete for a claim exactly when the action is constant on each evidence fiber; mixed fibers expose missing deployment information, and completion curves quantify the evidence required to resolve ambiguity. In controlled response spaces, benchmark-channel conformal coverage of 94.98% transferred poorly to an unmeasured deployment channel (10.07%), whereas response-rank intervals achieved 94.91% coverage; even zero benchmark error certified only 45.4% of candidates at the largest residual size. Public audits revealed incompleteness, including 97.9% mixed Tox21 fibers and zero median certifiable fraction in main Matbench and JARVIS audits. In held-out replays, certify-then-acquire reduced false decisions from 1.19% to 0.027% in Tox21 and from 20.3% to 0.128% in JARVIS, while changing model choice and identifying deployment-relevant probes. Deployment-ready benchmarks should report evidence, supported actions, ambiguity and completion cost rather than scores alone.


翻译:基准测试日益指导部署、采购和科学筛选,但一个评分仅支持它所记录的响应,不一定支持部署行为。我们提出部署完备的基准测试,用于检验基准证据是否能确定部署行为。一个基准测试对于某个主张是完备的,当且仅当该动作在每个证据纤维上是恒定的;混合纤维暴露出缺失的部署信息,完备性曲线则量化了解除歧义所需的证据。在受控响应空间中,基准通道的共形覆盖率为94.98%,但迁移到未测量的部署通道时表现不佳(仅为10.07%),而响应排名区间实现了94.91%的覆盖率;即使在最大残差规模下,零基准误差也仅能认证45.4%的候选对象。公开审计揭示了不完备性问题,包括97.9%的混合Tox21纤维以及Matbench和JARVIS主要审计中零中位数可认证比例。在留出重放测试中,先认证后获取策略将Tox21中的错误决策从1.19%降至0.027%,在JARVIS中从20.3%降至0.128%,同时改变了模型选择并识别出与部署相关的探针。面向部署的基准测试应报告证据、支持的动作、歧义性以及完备成本,而不仅仅是评分。

0
下载
关闭预览

相关内容

军事决策大语言模型综合评价基准
专知会员服务
20+阅读 · 4月1日
《全范围生存力和杀伤力测试》美国防部最新指令
专知会员服务
22+阅读 · 2025年1月1日
《美军联合任务环境测试能力(JMETC)》114页slides
专知会员服务
41+阅读 · 2024年11月23日
《测试操作程序 (TOP) :标准障碍物》美国陆军
专知会员服务
16+阅读 · 2024年1月24日
《人工智能芯片基准测试评估方法》行业标准
专知会员服务
87+阅读 · 2022年2月20日
【Facebook】人工智能基准(Benchmarking)测试再思考,55页ppt
专知会员服务
31+阅读 · 2020年12月20日
装备作战试验标准体系研究
科技导报
18+阅读 · 2019年4月2日
基于区域的目标检测——细粒度
计算机视觉战队
14+阅读 · 2018年2月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员