High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.


翻译:高动态范围(HDR)图像能够丰富且真实地表现场景辐照度,但由于其与生成模型训练时所使用的有界、感知压缩数据不匹配,给生成模型带来了挑战。一种自然的解决方案是为HDR学习新的表征,但这会引入额外的复杂性和数据需求。在本工作中,我们证明通过利用预训练生成模型已捕获的强视觉先验,可以以一种更简单的方式实现HDR生成。我们观察到,电影处理管线中广泛使用的对数编码将HDR图像映射到一种分布,该分布与这些模型的隐空间自然对齐,从而无需重新训练编码器,仅通过轻量级微调即可实现直接适配。为恢复输入中无法直接观测的细节,我们进一步引入了一种基于模拟相机退化的训练策略,该策略鼓励模型从其学习的先验中推断缺失的高动态范围内容。结合这些见解,我们展示了使用预训练视频模型并通过最小适配即可实现高质量HDR视频生成,在多样化的场景和具有挑战性的光照条件下均取得了强劲结果。我们的结果表明,尽管HDR代表了一种根本不同的图像形成机制,但只要选择与模型所学先验对齐的表征,无需重新设计生成模型即可有效处理。

0
下载
关闭预览

相关内容

【HKUST博士论文】基于生成模型的高保真图像与视频编辑
【MIT博士论文】合成数据的视觉表示学习
专知会员服务
27+阅读 · 2024年8月25日
【NTU博士论文】基于深度学习的图像与视频生成,146页pdf
深度对抗视觉生成综述
专知会员服务
34+阅读 · 2021年12月29日
《深度学习HDR成像》综述论文
专知会员服务
28+阅读 · 2021年12月14日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
7+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员