Existing 4D Gaussian Splatting (4DGS) methods struggle to accurately reconstruct dynamic scenes, often failing to resolve ambiguous pixel correspondences and inadequate densification in dynamic regions. We address these issues by introducing a novel method composed of two key components: (1) Elliptical Error Clustering and Error Correcting Splat Addition that pinpoints dynamic areas to improve and initialize fitting splats, and (2) Grouped 4D Gaussian Splatting that improves consistency of mapping between splats and represented dynamic objects. Specifically, we classify rendering errors into missing-color and occlusion types, then apply targeted corrections via backprojection or foreground splitting guided by cross-view color consistency. Evaluations on Neural 3D Video and Technicolor datasets demonstrate that our approach significantly improves temporal consistency and achieves state-of-the-art perceptual rendering quality, improving 0.39dB of PSNR on the Technicolor Light Field dataset. Our visualization shows improved alignment between splats and dynamic objects, and the error correction method's capability to identify errors and properly initialize new splats. Our implementation details and source code are available at https://github.com/tho-kn/cem-4dgs.


翻译:现有的4D高斯泼溅(4DGS)方法在准确重建动态场景方面存在困难,通常无法解决模糊的像素对应关系以及动态区域中密度化不足的问题。我们通过引入一种由两个关键组件构成的新方法来解决这些问题:(1)椭圆误差聚类与误差校正泼溅添加,该方法精确定位动态区域以改进并初始化拟合泼溅;(2)分组4D高斯泼溅,该方法提高了泼溅与所表示动态对象之间映射的一致性。具体而言,我们将渲染误差分类为缺失颜色和遮挡类型,然后通过基于跨视图颜色一致性的反向投影或前景分割进行针对性校正。在Neural 3D Video和Technicolor数据集上的评估表明,我们的方法显著提高了时间一致性,并实现了最先进的感知渲染质量,在Technicolor光场数据集上将PSNR提升了0.39dB。我们的可视化结果显示了泼溅与动态对象之间对齐的改进,以及误差校正方法识别误差并正确初始化新泼溅的能力。我们的实现细节和源代码可在https://github.com/tho-kn/cem-4dgs获取。

0
下载
关闭预览

相关内容

误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关资讯
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员