Kelvin is a lightweight learned pre-encoder that sits in front of an unmodified libx264 encoder. It applies content-adaptive pixel adjustments, bounded at +/-1/255 per channel, so that the encoder allocates bits where they matter most perceptually, while emitting a standard H.264 bitstream compatible with every existing decoder, player, and CDN. On the seven-sequence 1080p UVG benchmark, Kelvin v1.0 achieves a mean BD-VMAF of -27.62% (7 of 7 wins) and BD-VMAF-NEG of -5.18% (6 of 7 wins) relative to baseline libx264 at preset medium. On the 30-sequence MCL-JCV public set (28 unseen by training), the same checkpoint wins on 28 of 30 clips by BD-VMAF; with the two diagnosable failures removed the mean is -27.70% BD-VMAF and -5.37% BD-VMAF-NEG, consistent with UVG to within one percentage point. A central engineering challenge is the non-differentiability of H.264: we describe a hybrid codec proxy that combines a calibrated differentiable rate estimator (Spearman rho = 0.986 vs. real libx264 bits-per-pixel) with a U-Net distortion proxy trained on real encoder outputs. We publish full per-sequence rate-distortion data, a named failure-mode taxonomy on MCL-JCV (rate-floor violation, distribution shift, metric saturation), a five-baseline sanity panel (hqdn3d, unsharp, -tune psnr, -tune ssim, x265 medium), and honest positioning: x265 medium beats Kelvin on every metric on the same corpus. Kelvin is therefore designed for workloads where remaining on H.264 is a constraint rather than a choice.


翻译:Kelvin是一种轻量级可学习预编码器,位于未修改的libx264编码器前端。它应用内容自适应像素调整,每通道调整幅度限制在±1/255范围内,从而使编码器将比特分配在感知最关键的区域,同时生成与所有现有解码器、播放器和内容分发网络兼容的标准H.264比特流。在包含七个序列的1080p UVG基准测试中,相对于medium预设的基线libx264,Kelvin v1.0实现了平均BD-VMAF为-27.62%(7个序列全胜)和BD-VMAF-NEG为-5.18%(7个序列中6胜)。在包含30个序列的MCL-JCV公开数据集上(其中28个序列未参与训练),同一检查点在28个片段中通过BD-VMAF获胜;去除两个可诊断的失败案例后,平均BD-VMAF为-27.70%,BD-VMAF-NEG为-5.37%,与UVG结果相差不到一个百分点。一个核心工程挑战在于H.264的不可微性:我们描述了一种混合编解码代理,它结合了经校准的可微分码率估计器(与真实libx264每像素比特数的Spearman相关系数为0.986)和基于真实编码器输出训练的U-Net失真代理。我们发布了完整的逐序列率失真数据、MCL-JCV上的命名失效模式分类(码率下限违反、分布偏移、指标饱和)、包含五个基线的合理性验证面板(hqdn3d、unsharp、-tune psnr、-tune ssim、x265 medium),以及诚实的定位:在相同语料库上,x265 medium在所有指标上均优于Kelvin。因此,Kelvin专为那些将停留在H.264视为约束条件而非可选项的工作负载而设计。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【NeurIPS2024】将视频掩蔽自编码器扩展到128帧
专知会员服务
13+阅读 · 2024年11月27日
【CVPR2023】面向不同视频的可扩展神经表示,
专知会员服务
20+阅读 · 2023年3月28日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
58+阅读 · 2022年11月2日
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
12+阅读 · 2021年10月28日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
9+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
6+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
8+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
13+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
10+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
9+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
14+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
17+阅读 · 9月22日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员