Randomized smoothing is a recent technique that achieves state-of-art performance in training certifiably robust deep neural networks. While the smoothing family of distributions is often connected to the choice of the norm used for certification, the parameters of these distributions are always set as global hyper parameters independent of the input data on which a network is certified. In this work, we revisit Gaussian randomized smoothing and show that the variance of the Gaussian distribution can be optimized at each input so as to maximize the certification radius for the construction of the smoothed classifier. This new approach is generic, parameter-free, and easy to implement. In fact, we show that our data dependent framework can be seamlessly incorporated into 3 randomized smoothing approaches, leading to consistent improved certified accuracy. When this framework is used in the training routine of these approaches followed by a data dependent certification, we achieve 9\% and 6\% improvement over the certified accuracy of the strongest baseline for a radius of 0.5 on CIFAR10 and ImageNet.


翻译:随机平滑是最近的一种技术,在培训中取得最先进的性能,可以证实是稳健的深神经网络。虽然平滑的分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式分布式

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年12月14日
【实用书】数据科学基础,484页pdf,Foundations of Data Science
专知会员服务
122+阅读 · 2020年5月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Does Data Augmentation Benefit from Split BatchNorms
Arxiv
3+阅读 · 2020年10月15日
Arxiv
45+阅读 · 2019年12月20日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
1+阅读 · 今天13:21
伊朗不对称防空战略的演进
专知会员服务
2+阅读 · 今天11:10
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员