Accurate environment maps are a key component to modelling real-world outdoor scenes. They enable captivating visual arts, immersive virtual reality and a wide range of scientific and engineering applications. To alleviate the burden of physical-capture, physically-simulation and volumetric rendering, sky-models have been proposed as fast, flexible, and cost-saving alternatives. In recent years, sky-models have been extended through deep learning to be more comprehensive and inclusive of cloud formations, but recent work has demonstrated these models fall short in faithfully recreating accurate and photorealistic natural skies. Particularly at higher resolutions, DNN sky-models struggle to accurately model the 14EV+ class-imbalanced solar region, resulting in poor visual quality and scenes illuminated with skewed light transmission, shadows and tones. In this work, we propose Icarus, an all-weather sky-model capable of learning the exposure range of Full Dynamic Range (FDR) physically captured outdoor imagery. Our model allows conditional generation of environment maps with intuitive user-positioning of solar and cloud formations, and extends on current state-of-the-art to enable user-controlled texturing of atmospheric formations. Through our evaluation, we demonstrate Icarus is interchangeable with FDR physically captured outdoor imagery or parametric sky-models, and illuminates scenes with unprecedented accuracy, photorealism, lighting directionality (shadows), and tones in Image Based Lightning (IBL).


翻译:精确的环境贴图是建模真实世界户外场景的关键组成部分。它们能够实现引人入胜的视觉艺术、沉浸式虚拟现实以及广泛的科学与工程应用。为了减轻物理捕捉、物理模拟和体积渲染的负担,天空模型被提出作为快速、灵活且节约成本的替代方案。近年来,天空模型已通过深度学习得到扩展,使其更加全面并包含云层形态,但近期研究表明,这些模型在忠实重建精确且具有照片级真实感的自然天空方面存在不足。尤其是在更高分辨率下,DNN天空模型难以准确建模14EV+类别不平衡的太阳区域,导致视觉质量不佳以及场景照明出现失真的光传输、阴影和色调。在本工作中,我们提出了Icarus,一种能够学习全动态范围物理捕捉户外图像曝光范围的全天候天空模型。我们的模型支持通过直观的用户定位太阳和云层形态来条件生成环境贴图,并在现有最先进技术基础上扩展了用户可控的大气形态纹理化功能。通过评估,我们证明Icarus可与全动态范围物理捕捉户外图像或参数化天空模型互换,并在基于图像的照明中以前所未有的精确度、照片真实感、光照方向性(阴影)和色调为场景提供照明。

0
下载
关闭预览

相关内容

深度学习与基础模型在天气预测中的应用:综述
专知会员服务
24+阅读 · 2025年1月15日
【ETHZ博士论文】用于场景生成的3D生成模型
专知会员服务
22+阅读 · 2024年12月12日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员