The deep-learning-based image restoration and fusion methods have achieved remarkable results. However, the existing restoration and fusion methods paid little research attention to the robustness problem caused by dynamic degradation. In this paper, we propose a novel dynamic image restoration and fusion neural network, termed as DDRF-Net, which is capable of solving two problems, i.e., static restoration and fusion, dynamic degradation. In order to solve the static fusion problem of existing methods, dynamic convolution is introduced to learn dynamic restoration and fusion weights. In addition, a dynamic degradation kernel is proposed to improve the robustness of image restoration and fusion. Our network framework can effectively combine image degradation with image fusion tasks, provide more detailed information for image fusion tasks through image restoration loss, and optimize image restoration tasks through image fusion loss. Therefore, the stumbling blocks of deep learning in image fusion, e.g., static fusion weight and specifically designed network architecture, are greatly mitigated. Extensive experiments show that our method is more superior compared with the state-of-the-art methods.


翻译:以深层学习为基础的图像恢复和聚合方法取得了显著成果,然而,现有的恢复和聚合方法对动态退化造成的稳健性问题几乎没有引起研究关注。在本文件中,我们提议建立一个新的动态图像恢复和聚合神经网络,称为DDRF-Net,它能够解决两个问题,即静态恢复和聚合,动态降解。为了解决现有方法的静态融合问题,引入了动态融合,以学习动态恢复和聚合重量。此外,还提议了动态降解内核,以提高图像恢复和融合的稳健性。我们的网络框架可以有效地将图像退化与图像融合任务结合起来,通过图像恢复损失为图像融合任务提供更详细的信息,并通过图像融合损失优化图像恢复任务。因此,在图像融合中深层学习的绊脚石,例如静态聚变重量和专门设计的网络结构,大大减轻了。广泛的实验表明,我们的方法与最先进的方法相比更为优越。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
专知会员服务
111+阅读 · 2020年3月12日
论文浅尝 | 可建模语义分层的知识图谱补全方法
开放知识图谱
30+阅读 · 2020年3月8日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
已删除
将门创投
14+阅读 · 2019年5月29日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
VIP会员
最新内容
军事域更好使用人工智能的实用指南
专知会员服务
5+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
11+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
11+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
11+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
16+阅读 · 10月15日
现代电磁战:集成式系统簇时代如何实现频谱优势
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
12+阅读 · 10月14日
相关VIP内容
Python图像处理,366页pdf,Image Operators Image Processing in Python
专知会员服务
111+阅读 · 2020年3月12日
相关资讯
论文浅尝 | 可建模语义分层的知识图谱补全方法
开放知识图谱
30+阅读 · 2020年3月8日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
已删除
将门创投
14+阅读 · 2019年5月29日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Top
微信扫码咨询专知VIP会员