Out-of-distribution detection methods are often either data-centric, detecting deviations from the training input distribution irrespective of their effect on a trained model, or model-centric, relying on classifier outputs without explicit reference to data geometry. We propose TASTE (Task-Aware STEin operators): a task-aware framework based on so-called Stein operators, which allows us to link distribution shift to the input sensitivity of the model. We show that the resulting operator admits a clear geometric interpretation as a projection of distribution shift onto the sensitivity field of the model, yielding theoretical guarantees. Beyond detecting the presence of a shift, the same construction enables its localisation through a coordinate-wise decomposition, and for image data-provides interpretable per-pixel diagnostics. Experiments on controlled Gaussian shifts, MNIST under geometric perturbations, and CIFAR-10 perturbed benchmarks demonstrate that the proposed method aligns closely with task degradation while outperforming established baselines.


翻译:分布外检测方法通常分为两类:以数据为中心的方法(检测训练输入分布的偏差而不考虑其对训练模型的影响)或以模型为中心的方法(依赖分类器输出而不显式参考数据几何)。我们提出TASTE(任务感知Stein算子):一种基于所谓Stein算子的任务感知框架,该框架允许我们将分布偏移与模型的输入敏感性相关联。我们证明所得算子具有清晰的几何解释——即分布偏移在模型敏感性场上的投影,从而获得理论保证。除了检测偏移的存在,相同的构造还能通过坐标分解实现偏移定位,并为图像数据提供可解释的逐像素诊断。在受控高斯偏移、几何扰动下的MNIST数据集以及扰动基准CIFAR-10上的实验表明,所提方法在紧密跟踪任务性能退化的同时,显著优于现有基线方法。

0
下载
关闭预览

相关内容

分布外OOD检测的最新进展:问题与方法
专知会员服务
22+阅读 · 2024年9月23日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【NeurIPS2021】学习用于分布外预测的因果语义表示
专知会员服务
18+阅读 · 2021年11月19日
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
TensorFlow 2.0新特性之Ragged Tensor
深度学习每日摘要
18+阅读 · 2019年4月5日
深度神经网络模型训练中的最新tricks总结【原理与代码汇总】
人工智能前沿讲习班
172+阅读 · 2019年3月6日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
基于深度学习的目标检测算法综述
AI研习社
15+阅读 · 2018年4月25日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关资讯
TensorFlow 2.0新特性之Ragged Tensor
深度学习每日摘要
18+阅读 · 2019年4月5日
深度神经网络模型训练中的最新tricks总结【原理与代码汇总】
人工智能前沿讲习班
172+阅读 · 2019年3月6日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
基于深度学习的目标检测算法综述
AI研习社
15+阅读 · 2018年4月25日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员