We give a principled derivation of the Soft-Min-SNR weight of Crowson et al. (2024). The spread divergence of Zhang et al. (2018) convolves both compared distributions with a Gaussian kernel before taking the Kullback-Leibler (KL) divergence; applied to the per-sample local matched-Gaussian surrogate at each timestep, it yields the closed-form weight w(t,lambda) = sigma^2 / (sigma^2 + lambda). Three consequences follow. First, for variance-preserving schedules, w(t,lambda) equals a constant multiple of Soft-Min-SNR with gamma' = (1+lambda)/lambda, deriving a validated heuristic rather than introducing a new weight. Second, the same weight matches Min-SNR-gamma at leading order under gamma approximately 1/lambda, giving a cross-walk between the soft and hard reweighting families. Third, a local-geometry analysis scales an SGD-difficulty proxy by w^3 at high-SNR timesteps. Complementary to the objective-level account of Kingma & Gao (2023), who unified monotonic-in-log-SNR weightings as ELBOs of noise-augmented data, ours smooths both compared distributions rather than only the data side. Empirically, the matching rule holds on CIFAR-10 (linear and cosine) and CelebA-64 (cosine), with trajectory-wide confirmation on the cross-dataset cut: |Ours - Min-SNR| averages 0.45 FID across seven intermediate checkpoints on the seed-42 CelebA-64 trajectory, roughly 3x tighter than either reweighter's gap to DDPM. The local-geometry prediction is partially borne out: Ours converges about 21% earlier than DDPM at mid-training FID thresholds on CIFAR-10's linear schedule, where high-SNR damping headroom is largest, but this iteration-efficiency advantage does not transfer to cosine or CelebA-64, where all three methods reach similar final FIDs. Overall: final-FID parity with dataset-dependent iteration efficiency, plus a principled matching rule across the Min-SNR family.


翻译:暂无翻译

0
下载
关闭预览

相关内容

专知会员服务
15+阅读 · 2021年9月23日
专知会员服务
22+阅读 · 2021年6月26日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
92+阅读 · 2020年1月10日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
论文荐读:理解图表示学习中的负采样
学术头条
29+阅读 · 2020年5月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【好文解析】ICASSP最佳学生论文:深度对抗声学模型训练框架
中国科学院自动化研究所
13+阅读 · 2018年4月28日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
专知会员服务
15+阅读 · 2021年9月23日
专知会员服务
22+阅读 · 2021年6月26日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
92+阅读 · 2020年1月10日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
相关资讯
论文荐读:理解图表示学习中的负采样
学术头条
29+阅读 · 2020年5月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【好文解析】ICASSP最佳学生论文:深度对抗声学模型训练框架
中国科学院自动化研究所
13+阅读 · 2018年4月28日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员