With the growing demand for real-time video enhancement in live applications, existing methods often struggle to balance speed and effective exposure control, particularly under uneven lighting. We introduce RRNet (Rendering Relighting Network), a lightweight and configurable framework that achieves a state-of-the-art tradeoff between visual quality and efficiency. By estimating parameters for a minimal set of virtual light sources, RRNet enables localized relighting through a depth-aware rendering module without requiring pixel-aligned training data. This object-aware formulation preserves facial identity and supports real-time, high-resolution performance using a streamlined encoder and lightweight prediction head. To facilitate training, we propose a generative AI-based dataset creation pipeline that synthesizes diverse lighting conditions at low cost. With its interpretable lighting control and efficient architecture, RRNet is well suited for practical applications such as video conferencing, AR-based portrait enhancement, and mobile photography. Experiments show that RRNet consistently outperforms prior methods in low-light enhancement, localized illumination adjustment, and glare removal.


翻译:随着实时视频增强在直播应用中的需求日益增长,现有方法往往难以在速度与有效曝光控制之间取得平衡,尤其是在不均匀光照条件下。我们提出了RRNet(渲染重光照网络),这是一个轻量级且可配置的框架,在视觉质量与效率之间实现了最先进的权衡。通过估计一组最小化虚拟光源的参数,RRNet借助一个深度感知的渲染模块实现局部重光照,而无需像素对齐的训练数据。这种物体感知的公式能够保留面部身份特征,并通过简化的编码器和轻量级预测头支持实时高分辨率处理。为促进训练,我们提出了一种基于生成式人工智能的数据集创建流程,能够以低成本合成多样化的光照条件。凭借其可解释的光照控制和高效的架构,RRNet非常适用于视频会议、基于增强现实的人像增强和移动摄影等实际应用。实验表明,RRNet在低光增强、局部光照调整和眩光消除方面均持续优于现有方法。

0
下载
关闭预览

相关内容

【CVPR2024】VidLA: 大规模视频-语言对齐
专知会员服务
20+阅读 · 2024年3月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员