Face fill-light enhancement (FFE) brightens underexposed faces by adding virtual fill light while keeping the original scene illumination and background unchanged. Most face relighting methods aim to reshape overall lighting, which can suppress the input illumination or modify the entire scene, leading to foreground-background inconsistency and mismatching practical FFE needs. To support scalable learning, we introduce LightYourFace-160K (LYF-160K), a large-scale paired dataset built with a physically consistent renderer that injects a disk-shaped area fill light controlled by six disentangled factors, producing 160K before-and-after pairs. We first pretrain a physics-aware lighting prompt (PALP) that embeds the 6D parameters into conditioning tokens, using an auxiliary planar-light reconstruction objective. Building on a pretrained diffusion backbone, we then train a fill-light diffusion (FiLitDiff), an efficient one-step model conditioned on physically grounded lighting codes, enabling controllable and high-fidelity fill lighting at low computational cost. Experiments on held-out paired sets demonstrate strong perceptual quality and competitive full-reference metrics, while better preserving background illumination. The dataset and model will be at https://github.com/gobunu/Light-Up-Your-Face.


翻译:人脸补光增强(FFE)通过添加虚拟补光来提亮曝光不足的人脸,同时保持原始场景照明和背景不变。大多数人脸重照明方法旨在重塑整体光照,这可能会抑制输入照明或修改整个场景,导致前景与背景不一致,且与实际FFE需求不匹配。为支持可扩展学习,我们引入了LightYourFace-160K(LYF-160K)——一个通过物理一致渲染器构建的大规模配对数据集,该渲染器注入由六个解耦因子控制的盘状区域补光,生成了16万组前后对比图像对。我们首先预训练了一个物理感知照明提示(PALP),通过辅助的平面光重建目标,将六维参数嵌入到条件标记中。基于预训练的扩散主干网络,我们随后训练了补光扩散模型(FiLitDiff),这是一个以物理基础照明编码为条件的高效一步式模型,能够以较低计算成本实现可控且高保真的补光。在保留配对集上的实验表明,该方法具有出色的感知质量和有竞争力的全参考指标,同时能更好地保持背景照明。数据集与模型将发布于https://github.com/gobunu/Light-Up-Your-Face。

0
下载
关闭预览

相关内容

面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
【AAAI2022】基于渐进式增强学习的人脸伪造图像检测
专知会员服务
22+阅读 · 2022年1月19日
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
专知会员服务
22+阅读 · 2021年1月5日
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
人脸专集2 | 人脸关键点检测汇总(文末有相关文章链接)
计算机视觉战队
25+阅读 · 2019年4月4日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
人脸专集2 | 人脸关键点检测汇总(文末有相关文章链接)
计算机视觉战队
25+阅读 · 2019年4月4日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员