In this paper, we present three neural network architectures designed for real-time classification of weather conditions (sunny, rain, snow, fog) from images. These models, inspired by recent advances in style transfer, aim to capture the stylistic elements present in images. One model, called "Multi-PatchGAN", is based on PatchGANs used in well-known architectures such as Pix2Pix and CycleGAN, but here adapted with multiple patch sizes for detection tasks. The second model, "Truncated ResNet50", is a simplified version of ResNet50 retaining only its first nine layers. This truncation, determined by an evolutionary algorithm, facilitates the extraction of high-frequency features essential for capturing subtle stylistic details. Finally, we propose "Truncated ResNet50 with Gram Matrix and Attention", which computes Gram matrices for each layer during training and automatically weights them via an attention mechanism, thus optimizing the extraction of the most relevant stylistic expressions for classification. These last two models outperform the state of the art and demonstrate remarkable generalization capability on several public databases. Although developed for weather detection, these architectures are also suitable for other appearance-based classification tasks, such as animal species recognition, texture classification, disease detection in medical imaging, or industrial defect identification.


翻译:本文提出了三种专为实时天气状况(晴天、雨天、雪天、雾天)图像分类设计的神经网络架构。这些模型借鉴了风格迁移领域的最新进展,旨在捕捉图像中的风格化元素。第一种模型称为"Multi-PatchGAN",它基于Pix2Pix和CycleGAN等知名架构中使用的PatchGAN,但为检测任务调整了多尺度补丁大小。第二种模型"Truncated ResNet50"是ResNet50的简化版本,仅保留其前九层,这种由进化算法确定的截断策略有利于提取捕捉细微风格细节所需的高频特征。最后,我们提出"带有Gram矩阵与注意力机制的Truncated ResNet50",该模型在训练过程中为每个层计算Gram矩阵,并通过注意力机制自动为其分配权重,从而优化了分类任务中最相关风格表达的提取。后两个模型在多个公开数据库上超越了现有技术水平,并展现出卓越的泛化能力。尽管这些架构专为天气检测而开发,但它们同样适用于其他基于外观的分类任务,如动物物种识别、纹理分类、医学影像疾病检测或工业缺陷识别。

0
下载
关闭预览

相关内容

向您推介实时天气 - 迄今最为精美的天气应用程序。针对 iOS 10 进行了优化设置!
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
专知会员服务
44+阅读 · 2022年1月18日
专知会员服务
34+阅读 · 2021年10月8日
【WWW2021】面向时空图预测的神经结构搜索
专知会员服务
23+阅读 · 2021年4月23日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
关于CNN图像分类的一份综合设计指南
云栖社区
11+阅读 · 2018年5月15日
图像风格迁移(Neural Style)简史
算法与数学之美
21+阅读 · 2018年2月4日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
网状网络及其在军事领域的运用
专知会员服务
4+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
4+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
5+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
3+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
8+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
6+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
8+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
6+阅读 · 6月24日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员