Generative Flow Networks (GFlowNets) are powerful samplers for compositional objects that, by design, sample proportionally to a given non-negative reward. Nonetheless, in practice, they often struggle to explore the reward landscape evenly: trajectories toward easy-to-reach regions dominate training, while hard-to-reach modes receive vanishing or uninformative gradients, leading to poor coverage of high-reward areas. We address this imbalance with Boosted GFlowNets, a method that sequentially trains an ensemble of GFlowNets, each optimizing a residual reward that compensates for the mass already captured by previous models. This residual principle reactivates learning signals in underexplored regions and, under mild assumptions, ensures a monotone non-degradation property: adding boosters cannot worsen the learned distribution and typically improves it. Empirically, Boosted GFlowNets achieve substantially better exploration and sample diversity on multimodal synthetic benchmarks and peptide design tasks, while preserving the stability and simplicity of standard trajectory-balance training.


翻译:生成流网络(GFlowNets)是针对组合对象的强大采样器,其设计目标是与给定非负奖励成比例地采样。然而在实践中,它们往往难以均匀探索奖励空间:易于到达区域的轨迹主导训练过程,而难以到达的模式则获得趋近于零或无信息的梯度,导致对高奖励区域的覆盖不足。我们通过增强型生成流网络解决这种不平衡问题,该方法顺序训练一个生成流网络集成,其中每个网络优化残差奖励以补偿先前模型已捕获的概率质量。这种残差原理在未充分探索的区域重新激活学习信号,并在温和假设下确保单调非退化特性:添加增强器不会劣化已学习分布,通常还能改进分布。实验表明,增强型生成流网络在多模态合成基准测试和肽设计任务中实现了显著更好的探索与样本多样性,同时保持了标准轨迹平衡训练的稳定性与简洁性。

0
下载
关闭预览

相关内容

【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《图世界模型:概念、分类体系与未来方向》
专知会员服务
2+阅读 · 5月1日
Palantir AIP平台:连接智能体与决策
专知会员服务
10+阅读 · 5月1日
《美海军软件测试战略》90页slides
专知会员服务
8+阅读 · 5月1日
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
9+阅读 · 4月30日
相关VIP内容
【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员