我们提出了一种新的视频神经表示(NeRV),它在神经网络中对视频进行编码。与传统的将视频表示为帧序列不同,我们将视频表示为以帧索引为输入的神经网络。给定帧索引,NeRV输出相应的RGB图像。NeRV中的视频编码只是简单地将神经网络拟合到视频帧上,解码过程是一个简单的前馈操作。作为一种图像隐式表示,NeRV输出整幅图像,比像素隐式表示效率高,编码速度提高了25倍至70倍,解码速度提高了38倍至132倍,同时获得了更好的视频质量。有了这样的表示,我们可以将视频视为神经网络,从而简化了几个与视频相关的任务。例如,传统的视频压缩方法受到为任务专门设计的长而复杂的流水线的限制。相比之下,使用NeRV,我们可以使用任何神经网络压缩方法作为视频压缩的代理,并达到与传统的基于帧的视频压缩方法(H.264, HEVC等)相当的性能。除了压缩外,我们还展示了NeRV在视频去噪中的推广作用。源代码和预先训练的模型可以在https://github.com/haochen-rye/NeRV.git上找到。

https://www.zhuanzhi.ai/paper/a0746da699bf2b7ae563a42e54634014

成为VIP会员查看完整内容
12

相关内容

【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
20+阅读 · 2021年12月19日
【NeurIPS2021】去栅格化的矢量图识别
专知会员服务
16+阅读 · 2021年11月18日
专知会员服务
15+阅读 · 2021年10月16日
专知会员服务
63+阅读 · 2021年3月12日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
33+阅读 · 2020年9月27日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
一个神经网络实现4大图像任务,GitHub已开源
命名实体识别(NER)综述
AI研习社
66+阅读 · 2019年1月30日
TensorFlow图像分类教程
云栖社区
9+阅读 · 2017年12月29日
Arxiv
9+阅读 · 2021年10月26日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Arxiv
5+阅读 · 2019年8月22日
VIP会员
最新内容
乌克兰前线的五项创新
专知会员服务
1+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
1+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
1+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
9+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
4+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关VIP内容
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
20+阅读 · 2021年12月19日
【NeurIPS2021】去栅格化的矢量图识别
专知会员服务
16+阅读 · 2021年11月18日
专知会员服务
15+阅读 · 2021年10月16日
专知会员服务
63+阅读 · 2021年3月12日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
33+阅读 · 2020年9月27日
相关资讯
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
一个神经网络实现4大图像任务,GitHub已开源
命名实体识别(NER)综述
AI研习社
66+阅读 · 2019年1月30日
TensorFlow图像分类教程
云栖社区
9+阅读 · 2017年12月29日
微信扫码咨询专知VIP会员