Recent advances in diffusion-based generative models have established a new paradigm for image and video relighting. However, extending these capabilities to 4D relighting remains challenging, due primarily to the scarcity of paired 4D relighting training data and the difficulty of maintaining temporal consistency across extreme viewpoints. In this work, we propose Light4D, a novel training-free framework designed to synthesize consistent 4D videos under target illumination, even under extreme viewpoint changes. First, we introduce Disentangled Flow Guidance, a time-aware strategy that effectively injects lighting control into the latent space while preserving geometric integrity. Second, to reinforce temporal consistency, we develop Temporal Consistent Attention within the IC-Light architecture and further incorporate deterministic regularization to eliminate appearance flickering. Extensive experiments demonstrate that our method achieves competitive performance in temporal consistency and lighting fidelity, robustly handling camera rotations from -90 to 90. Code: https://github.com/AIGeeksGroup/Light4D. Website: https://aigeeksgroup.github.io/Light4D.


翻译:基于扩散的生成模型的最新进展为图像和视频重光照建立了一种新范式。然而,将这些能力扩展到4D重光照仍然具有挑战性,这主要源于配对的4D重光照训练数据的稀缺,以及在极端视角下保持时间一致性的困难。在本工作中,我们提出了Light4D,一种新颖的免训练框架,旨在目标光照下合成一致的4D视频,即使在极端视角变化下也能实现。首先,我们引入了解耦流引导,这是一种时间感知策略,能有效地将光照控制注入潜在空间,同时保持几何完整性。其次,为了增强时间一致性,我们在IC-Light架构内开发了时间一致性注意力机制,并进一步结合确定性正则化以消除外观闪烁。大量实验表明,我们的方法在时间一致性和光照保真度方面实现了有竞争力的性能,能够稳健地处理从-90度到90度的相机旋转。代码:https://github.com/AIGeeksGroup/Light4D。项目网站:https://aigeeksgroup.github.io/Light4D。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
【NeurIPS2025】Instant4D:高效的4D高斯喷溅方法
专知会员服务
7+阅读 · 2025年10月2日
最新《 深度学习时代的低光图像增强》综述论文,
专知会员服务
38+阅读 · 2021年4月30日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
Deeplearning4j 快速入门
人工智能头条
14+阅读 · 2018年12月24日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员