Open-Web streams can reference real-world events without making them suitable for organization: a correctly linked event may serve only as background, while an event absent from the knowledge base may be central to an item. This distinction reveals an evaluation blind spot in multistage Web systems: pipelines determine not only how inputs are scored, but also which inputs receive scores at all. Using open-Web event admission as a case study, we examine three connected objects (the scored population, the selected operating point, and behavior on the complete input stream) through shared-subset comparisons, admission-loss decomposition, and controlled extraction-recovery interventions. We find that reported ranking differences depend on the scored population, scoring gaps exhibit distinct backbone-dependent failure modes, and recovering missing scores can increase false acceptance under an unchanged threshold. On Original-302, Qwen candidate validity scores 255 of 302 items while direct admission scores all 302; evaluating both on the shared subset narrows their AUC gap. For Mistral, span-safe recovery raises false acceptance from 73.1% to 92.5% with the threshold fixed. Across 602 human-annotated evaluation items within a 3,290-record resource, these findings establish a reporting framework that considers score availability, threshold selection, and complete-stream decisions together.


翻译:暂无翻译

0
下载
关闭预览

相关内容

综述 | 3D场景图:开放挑战与未来方向
专知会员服务
13+阅读 · 6月22日
过参数化、剪枝和网络结构搜索
极市平台
17+阅读 · 2019年11月24日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
11+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关VIP内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
13+阅读 · 6月22日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员