We study whether persistent out-of-distribution (OOD) degradation can be predicted before it is directly observed using only source-side training dynamics. In a controlled shortcut-learning setting, a simple logistic regression predictor develops a clear prospective signal, while training time alone does not. Temporal summaries of the source-side quantities are substantially more informative than their current values. When transferred without additional training from a CNN to an MLP, confidence and entropy dynamics retain substantial predictive information. These results provide a proof of principle that source-side training dynamics can contain an early warning signal for future OOD failure.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《支持作战级人机协同智能的交互式OODA流程》
专知会员服务
28+阅读 · 6月7日
分布外OOD检测的最新进展:问题与方法
专知会员服务
22+阅读 · 2024年9月23日
《OODA 2.0:竞争和远征先进基地作战模型》114页论文
专知会员服务
98+阅读 · 2023年12月22日
JADC2:利用人工智能和自主性加速 OODA 循环
专知会员服务
120+阅读 · 2023年9月23日
【KDD2023】发现动态因果空间进行DAG结构学习
专知会员服务
34+阅读 · 2023年6月9日
【NeurIPS2022】序列(推荐)模型分布外泛化:因果视角与求解
北理工2022最新paper《基于对抗性复杂博弈的OODA环分析》
专知会员服务
139+阅读 · 2022年4月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Generalized Out-of-Distribution Detection: A Survey
Arxiv
15+阅读 · 2021年10月21日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
10+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关VIP内容
《支持作战级人机协同智能的交互式OODA流程》
专知会员服务
28+阅读 · 6月7日
分布外OOD检测的最新进展:问题与方法
专知会员服务
22+阅读 · 2024年9月23日
《OODA 2.0:竞争和远征先进基地作战模型》114页论文
专知会员服务
98+阅读 · 2023年12月22日
JADC2:利用人工智能和自主性加速 OODA 循环
专知会员服务
120+阅读 · 2023年9月23日
【KDD2023】发现动态因果空间进行DAG结构学习
专知会员服务
34+阅读 · 2023年6月9日
【NeurIPS2022】序列(推荐)模型分布外泛化:因果视角与求解
北理工2022最新paper《基于对抗性复杂博弈的OODA环分析》
专知会员服务
139+阅读 · 2022年4月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员