High-quality novel view synthesis (NVS) from real-world videos is crucial for applications such as cultural heritage preservation, digital twins, and immersive media. However, real-world videos typically contain long sequences with irregular camera trajectories and unknown poses, leading to pose drift, feature misalignment, and geometric distortion during reconstruction. Moreover, lossy compression amplifies these issues by introducing inconsistencies that gradually degrade geometry and rendering quality. While recent studies have addressed either long-sequence NVS or unposed reconstruction, compression-aware approaches still focus on specific artifacts or limited scenarios, leaving diverse compression patterns in long videos insufficiently explored. In this paper, we propose CompSplat, a compression-aware training framework that explicitly models frame-wise compression characteristics to mitigate inter-frame inconsistency and accumulated geometric errors. CompSplat incorporates compression-aware frame weighting and an adaptive pruning strategy to enhance robustness and geometric consistency, particularly under heavy compression. Extensive experiments on challenging benchmarks, including Tanks and Temples, Free, and Hike, demonstrate that CompSplat achieves state-of-the-art rendering quality and pose accuracy, significantly surpassing most recent state-of-the-art NVS approaches under severe compression conditions.


翻译:从真实世界视频中实现高质量的新视角合成对于文化遗产保护、数字孪生和沉浸式媒体等应用至关重要。然而,真实世界视频通常包含长序列,具有不规则的相机轨迹和未知的位姿,这会导致重建过程中的位姿漂移、特征错位和几何失真。此外,有损压缩通过引入不一致性放大了这些问题,这些不一致性会逐渐降低几何和渲染质量。尽管最近的研究已分别针对长序列新视角合成或无位姿重建进行了探索,但压缩感知方法仍侧重于特定伪影或有限场景,对长视频中多样化的压缩模式研究不足。本文提出CompSplat,一种压缩感知训练框架,该框架显式建模逐帧压缩特性,以减轻帧间不一致性和累积的几何误差。CompSplat结合了压缩感知的帧加权策略和自适应剪枝策略,以增强鲁棒性和几何一致性,特别是在重度压缩条件下。在包括Tanks and Temples、Free和Hike在内的多个具有挑战性的基准数据集上进行的大量实验表明,CompSplat实现了最先进的渲染质量和位姿精度,在严重压缩条件下显著超越了大多数最新的先进新视角合成方法。

0
下载
关闭预览

相关内容

【CVPR2025】具有显式3D建模的世界一致性视频扩散
专知会员服务
11+阅读 · 2025年2月27日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
Transformer如何用于视频?最新「视频Transformer」2022综述
专知会员服务
76+阅读 · 2022年1月20日
专知会员服务
37+阅读 · 2021年2月20日
深度学习之视频图像压缩
论智
13+阅读 · 2018年6月15日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员