In the recent years, researchers proposed a number of successful methods to perform out-of-distribution (OOD) detection in deep neural networks (DNNs). So far the scope of the highly accurate methods has been limited to classification tasks. Attempts for generally applicable methods beyond classification did not attain similar performance. In this paper, we propose a task-agnostic unsupervised OOD detection method using kernel density estimation (KDE) that addresses this limitation. We estimate the probability density functions (pdfs) of intermediate features of an already trained network, by performing KDE on the training dataset. As direct application of KDE to feature maps is hindered by their high dimensionality, we use a set of channel-wise marginalized KDE models instead of a single high-dimensional one. At test time, we evaluate the pdfs on a test sample and combine the resulting channel-wise scores with a logistic regression into a final confidence score that indicates the sample is OOD. Crucially, the proposed method is task agnostic as we only use intermediate features without requiring information on class labels nor the structure of the output, and attains high accuracy thanks to the flexibility of KDE. We performed experiments on DNNs trained for segmentation, detection and classification tasks, using benchmark datasets for OOD detection. The proposed method substantially outperformed existing works for non-classification networks while achieving on-par accuracy with the state-of-the-art for classification networks. The results demonstrate that the proposed method attains high OOD detection accuracy across different tasks, offering a larger scope of applications than existing task-specific methods and improving state-of-the-art for task-agnostic methods. The code will be made available.


翻译:近年来,研究人员提出了在深神经网络(DNNS)中进行分配外检测的成功方法。 到目前为止,高度准确方法的范围一直局限于分类任务。 尝试在分类之外采用普遍适用的方法没有达到类似的性能。 在本文件中,我们提出使用内核密度估计(KDE)来应对这一限制,采用任务不可知性且不受监督的 OOD 检测方法。 我们通过在培训数据集上应用 KDE 来估计一个已经受过训练的网络的中间特性的概率密度函数(pdfs ) 。 由于 KDE 直接应用地显示地图的准确性受到其高度的阻碍,我们使用一组频道边缘化的 KDE模型,而不是单一的高维度模型。 在测试时,我们用测试样本来评估pdf,并将由此产生的频道误差与显示样本的最后信任分数相合并。 至关重要的是,拟议的方法只是使用中间特性,因为我们不需要关于类标签或输出结构的信息,因此无法直接应用其精确度,我们使用更高精度的轨道边缘的 KDE模型模型, 而要用高度的检测方法来进行现有测测测算。

0
下载
关闭预览

相关内容

【Google】梯度下降,48页ppt
专知会员服务
81+阅读 · 2020年12月5日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
神经网络训练tricks
极市平台
6+阅读 · 2019年4月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
将门创投
7+阅读 · 2017年7月11日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
4+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
4+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
4+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
11+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关资讯
神经网络训练tricks
极市平台
6+阅读 · 2019年4月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
将门创投
7+阅读 · 2017年7月11日
Top
微信扫码咨询专知VIP会员