Today's image prediction methods struggle to change the locations of objects in a scene, producing blurry images that average over the many positions they might occupy. In this paper, we propose a simple change to existing image similarity metrics that makes them more robust to positional errors: we match the images using optical flow, then measure the visual similarity of corresponding pixels. This change leads to crisper and more perceptually accurate predictions, and can be used with any image prediction network. We apply our method to predicting future frames of a video, where it obtains strong performance with simple, off-the-shelf architectures.


翻译:今天的图像预测方法试图改变一个场景中物体的位置, 产生模糊的图像, 其平均分布在它们可能占据的许多位置上。 在本文中, 我们建议简单修改现有的图像相似度指标, 使其更强于定位错误: 我们用光学流来匹配图像, 然后测量相应的像素的视觉相似性。 这一变化导致精确和更准确的预测, 并且可以用于任何图像预测网络 。 我们运用我们的方法来预测一个视频的未来框架, 在那里,它以简单、 现成的建筑来获得强大的性能 。

0
下载
关闭预览

相关内容

专知会员服务
79+阅读 · 2021年3月16日
【经典书】操作系统导论,687页pdf
专知会员服务
181+阅读 · 2020年10月28日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年6月7日
Arxiv
6+阅读 · 2021年3月11日
Arxiv
16+阅读 · 2021年3月2日
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
最新内容
博士论文 | 用代码结构感知方法推进代码大模型
专知会员服务
0+阅读 · 18分钟前
《决策模型比较研究》
专知会员服务
8+阅读 · 今天5:16
《美军水下战与海床战概述及本地实施》
专知会员服务
4+阅读 · 今天4:30
面向未来冲突推进陆军情报体制改革
专知会员服务
4+阅读 · 今天4:12
乌克兰纵深打击如何重塑俄罗斯的战略选择
专知会员服务
3+阅读 · 7月24日
俄乌战争中关于中程打击无人机部署的经验启示
相关VIP内容
专知会员服务
79+阅读 · 2021年3月16日
【经典书】操作系统导论,687页pdf
专知会员服务
181+阅读 · 2020年10月28日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
相关论文
Arxiv
0+阅读 · 2021年6月7日
Arxiv
6+阅读 · 2021年3月11日
Arxiv
16+阅读 · 2021年3月2日
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
Arxiv
6+阅读 · 2018年2月8日
Top
微信扫码咨询专知VIP会员