Volumetric media promises next-generation content delivery applications, but its bandwidth demand remains a key bottleneck. Implicit and hybrid volumetric representations reduce model sizes, yet still require careful coding to reach 2D video-like bitrates. We present CATRF, a standard-codec-in-the-loop compression framework for plane-factorized radiance fields. During training, we quantize and pack 2D feature planes into codec-friendly canvases, run a standard codec roundtrip (JPEG/VP9/HEVC/AV1), then unpack and dequantize the decoded features before volume rendering. We use a straight-through estimator (STE) to insert the non-differentiable, standard codec pipeline into the training loop, allowing radiance-field features to adapt directly to the real, client-side codec distortions without introducing any learned codec parameters. On both static and dynamic benchmarks, CATRF consistently achieves a better rate-distortion trade-off over codec-agnostic and learned-codec-in-the-loop baselines, and also outperforms recent compressed 3DGS methods in both compression efficiency and decoding speed. These results highlight a practical path toward low-bitrate, compression-resilient volumetric representations for free-viewpoint video streaming.


翻译:体积媒体有望推动下一代内容传输应用,但其带宽需求仍是关键瓶颈。隐式和混合体积表示虽能减小模型规模,但仍需精细编码才能达到类似2D视频的比特率。我们提出CATRF,一种基于标准编解码器闭环的平面因子化辐射场压缩框架。训练过程中,我们将2D特征平面量化和打包为编解码器友好的画布,执行标准编解码器往返(JPEG/VP9/HEVC/AV1),再解包并反量化解码特征后进行体渲染。我们采用直通估计器(STE)将不可微的标准编解码器流水线嵌入训练循环,使辐射场特征能直接适配客户端侧真实的编解码器失真,而无需引入任何可学习的编解码器参数。在静态和动态基准测试中,CATRF相较于与编解码器无关以及基于可学习编解码器闭环的基线方法,始终取得更优的率失真权衡,且在压缩效率和解码速度上均超越近期压缩3DGS方法。这些结果凸显了面向自由视点视频流传输、实现低比特率且抗压缩鲁棒的体积表示的一条实用路径。

0
下载
关闭预览

相关内容

【ICML2024】神经 NeRF 压缩
专知会员服务
19+阅读 · 2024年6月15日
专知会员服务
74+阅读 · 2021年5月28日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
【干货】深入理解自编码器(附代码实现)
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员