Focus is a cornerstone of photography, yet autofocus systems often fail to capture the intended subject, and users frequently wish to adjust focus after capture. We introduce a novel method for realistic post-capture refocusing using video diffusion models. From a single defocused image, our approach generates a perceptually accurate focal stack, represented as a video sequence, enabling interactive refocusing and unlocking a range of downstream applications. We release a large-scale focal stack dataset acquired under diverse real-world smartphone conditions to support this work and future research. Our method consistently outperforms existing approaches in both perceptual quality and robustness across challenging scenarios, paving the way for more advanced focus-editing capabilities in everyday photography. Code and data are available at www.learn2refocus.github.io


翻译:对焦是摄影的基石,然而自动对焦系统常无法准确捕捉目标主体,用户也常希望在拍摄后调整焦点。我们提出一种利用视频扩散模型实现逼真后捕获重聚焦的新方法。该方法仅需单张失焦图像,即可生成感知准确的焦堆栈(以视频序列形式表示),从而实现交互式重聚焦并解锁一系列下游应用。为支持本工作及未来研究,我们发布了在多样化真实世界智能手机条件下采集的大规模焦堆栈数据集。在具有挑战性的场景中,我们的方法在感知质量与鲁棒性方面均持续优于现有方法,为日常摄影中更先进的对焦编辑能力开辟了道路。代码与数据详见 www.learn2refocus.github.io

0
下载
关闭预览

相关内容

视频扩散模型综述:基础、实现与应用
专知会员服务
13+阅读 · 2025年4月24日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
视频扩散模型:综述
专知会员服务
38+阅读 · 2024年5月8日
【简明书】扩散模型在图像和视觉领域的教程,51页pdf
专知会员服务
58+阅读 · 2024年3月29日
复旦等最新《视频扩散模型》综述
专知会员服务
38+阅读 · 2023年10月20日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
视频扩散模型综述:基础、实现与应用
专知会员服务
13+阅读 · 2025年4月24日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
视频扩散模型:综述
专知会员服务
38+阅读 · 2024年5月8日
【简明书】扩散模型在图像和视觉领域的教程,51页pdf
专知会员服务
58+阅读 · 2024年3月29日
复旦等最新《视频扩散模型》综述
专知会员服务
38+阅读 · 2023年10月20日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员