The performance of computer vision models is susceptible to unexpected changes in input images when deployed in real scenarios. These changes are referred to as common corruptions. While they can hinder the applicability of computer vision models in real-world scenarios, they are not always considered as a testbed for model generalization and robustness. In this survey, we present a comprehensive and systematic overview of methods that improve corruption robustness of computer vision models. Unlike existing surveys that focus on adversarial attacks and label noise, we cover extensively the study of robustness to common corruptions that can occur when deploying computer vision models to work in practical applications. We describe different types of image corruption and provide the definition of corruption robustness. We then introduce relevant evaluation metrics and benchmark datasets. We categorize methods into four groups. We also cover indirect methods that show improvements in generalization and may improve corruption robustness as a byproduct. We report benchmark results collected from the literature and find that they are not evaluated in a unified manner, making it difficult to compare and analyze. We thus built a unified benchmark framework to obtain directly comparable results on benchmark datasets. Furthermore, we evaluate relevant backbone networks pre-trained on ImageNet using our framework, providing an overview of the base corruption robustness of existing models to help choose appropriate backbones for computer vision tasks. We identify that developing methods to handle a wide range of corruptions and efficiently learn with limited data and computational resources is crucial for future development. Additionally, we highlight the need for further investigation into the relationship among corruption robustness, OOD generalization, and shortcut learning.


翻译:计算机视觉模型在实际场景部署时,其性能容易受到输入图像意外变化的影响。这些变化被称为常见扰动。虽然它们可能阻碍计算机视觉模型在实际场景中的适用性,但并非总是被用作评估模型泛化能力和鲁棒性的测试基准。本综述全面系统地介绍了提升计算机视觉模型扰动鲁棒性的方法。与现有侧重于对抗攻击和标签噪声的综述不同,我们广泛研究了计算机视觉模型在实用部署中可能遇到的常见扰动鲁棒性。我们描述了不同类型的图像扰动,并给出了扰动鲁棒性的定义。随后,我们介绍了相关评估指标和基准数据集,并将方法分为四类。我们还涵盖了那些能提升泛化能力并可能间接提升扰动鲁棒性的间接方法。我们整理了文献中的基准测试结果,发现这些结果缺乏统一的评估标准,导致难以比较和分析。为此,我们构建了统一的基准评估框架,以在基准数据集上获得可直接比较的结果。此外,我们利用该框架评估了在ImageNet上预训练的相关骨干网络,提供了现有模型的基础扰动鲁棒性概览,以帮助为计算机视觉任务选择合适的骨干网络。我们指出,开发能够处理广泛扰动并在有限数据和计算资源下高效学习的方法,对未来发展至关重要。此外,我们强调需要进一步研究扰动鲁棒性、分布外泛化与捷径学习之间的关系。

0
下载
关闭预览

相关内容

Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月21日
Arxiv
20+阅读 · 2020年6月8日
Arxiv
19+阅读 · 2019年4月5日
VIP会员
最新内容
《决策模型比较研究》
专知会员服务
2+阅读 · 今天5:16
《美军水下战与海床战概述及本地实施》
专知会员服务
1+阅读 · 今天4:30
面向未来冲突推进陆军情报体制改革
专知会员服务
1+阅读 · 今天4:12
乌克兰纵深打击如何重塑俄罗斯的战略选择
专知会员服务
2+阅读 · 7月24日
俄乌战争中关于中程打击无人机部署的经验启示
《基于强化学习的自动化红队测试》
专知会员服务
5+阅读 · 7月23日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员