Most Video Super-Resolution (VSR) methods enhance a video reference frame by aligning its neighboring frames and mining information on these frames. Recently, deformable alignment has drawn extensive attention in VSR community for its remarkable performance, which can adaptively align neighboring frames with the reference one. However, we experimentally find that deformable alignment methods still suffer from fast motion due to locally loss-driven offset prediction and lack explicit motion constraints. Hence, we propose a Matching-based Flow Estimation (MFE) module to conduct global semantic feature matching and estimate optical flow as coarse offset for each location. And a Flow-guided Deformable Module (FDM) is proposed to integrate optical flow into deformable convolution. The FDM uses the optical flow to warp the neighboring frames at first. And then, the warped neighboring frames and the reference one are used to predict a set of fine offsets for each coarse offset. In general, we propose an end-to-end deep network called Flow-guided Deformable Alignment Network (FDAN), which reaches the state-of-the-art performance on two benchmark datasets while is still competitive in computation and memory consumption.


翻译:多数视频超级分辨率( VSR) 方法通过调整其相邻框架和这些框架的开采信息来增强视频参考框架。 最近, 变形调整吸引了VSR社群对其显著性能的广泛关注, 这可以适应性地将相邻框架与参照框架相匹配。 然而, 我们实验发现, 变形调整方法仍然会因当地损失驱动的抵消预测和缺乏明确的动作限制而快速运动而受到影响。 因此, 我们提出一个基于匹配的流动估计模块, 以进行全球语义特征匹配, 并估计光学流作为每个位置的粗略抵消。 并提议一个流动引导的变形模块( FDM) 将光学流整合到可变化的变形演变中。 FDM 首先使用光流来扭曲相邻框架。 然后, 扭曲的相邻框架和参考框架被用来预测每粗度抵消的一组微的微抵消。 一般来说, 我们提议建立一个端至端深端网络, 称为流动引导变形调整网络(FDAN),, 这个网络在两种基准数据计算中仍具有竞争力的存储功能, 。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年6月12日
专知会员服务
38+阅读 · 2021年3月31日
最新《自监督表示学习》报告,70页ppt
专知会员服务
86+阅读 · 2020年12月22日
专知会员服务
110+阅读 · 2020年3月12日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Dynamic Zoom-in Network 论文笔记
统计学习与视觉计算组
6+阅读 · 2018年7月18日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
Arxiv
0+阅读 · 2021年6月30日
Deformable ConvNets v2: More Deformable, Better Results
Arxiv
5+阅读 · 2018年3月30日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关VIP内容
Top
微信扫码咨询专知VIP会员