Classical diffusion models typically rely on isotropic Gaussian noise, treating all regions uniformly and overlooking structural information important for high-quality generation. We introduce an edge-preserving diffusion process that generalizes isotropic models via a hybrid noise scheme with an edge-aware scheduler that smoothly transitions from edge-preserving to isotropic noise. This enables the model to capture fine structural details while generally maintaining global performance. We evaluate the impact of structure-aware noise in both diffusion and flow-matching frameworks, and show that existing isotropic models can be efficiently fine-tuned with edge-preserving noise, making our framework practical for adapting pre-trained systems. Beyond unconditional generation, our method particularly shows improvements in structure-guided tasks such as stroke-to-image synthesis, improving robustness and perceptual quality, as evidenced by consistent improvements across FID, KID, and CLIP-score.


翻译:经典扩散模型通常依赖各向同性高斯噪声,对图像区域一视同仁,忽略了高质量生成所需的结构信息。本文提出一种保边扩散过程,通过混合噪声方案与边缘感知调度器,将各向同性模型泛化到从保边噪声到各向同性噪声的平滑过渡。这使得模型既能捕捉精细结构细节,又能总体上保持全局性能。我们在扩散框架与流匹配框架中评估了结构感知噪声的影响,并表明现有各向同性模型可通过保边噪声高效微调,使我们的框架适用于预训练系统的适配。除无条件生成外,我们的方法在结构引导任务(如笔画到图像合成)中尤其表现出改进,提升了鲁棒性与感知质量——FID、KID和CLIP评分的持续改善即为佐证。

0
下载
关闭预览

相关内容

用于语言生成的离散扩散模型
专知会员服务
12+阅读 · 2025年7月10日
《扩散模型》最新教程,141页ppt
专知会员服务
79+阅读 · 2024年12月2日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
去噪扩散概率模型,46页ppt
专知会员服务
64+阅读 · 2023年1月4日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
PaperWeekly
13+阅读 · 2019年1月22日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月26日
Arxiv
0+阅读 · 3月9日
VIP会员
相关主题
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
6+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
相关资讯
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
PaperWeekly
13+阅读 · 2019年1月22日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员