Flow matching has emerged as a powerful framework for generative modeling, with recent empirical successes highlighting the effectiveness of signal-space prediction ($x$-prediction). In this work, we investigate the transfer of this paradigm to binary manifolds, a fundamental setting for generative modeling of discrete data. While $x$-prediction remains effective, we identify a latent structural mismatch that arises when it is coupled with velocity-based objectives ($v$-loss), leading to a time-dependent singular weighting that amplifies gradient sensitivity to approximation errors. Motivated by this observation, we formalize prediction-loss alignment as a necessary condition for flow matching training. We prove that re-aligning the objective to the signal space ($x$-loss) eliminates the singular weighting, yielding uniformly bounded gradients and enabling robust training under uniform timestep sampling without reliance on heuristic schedules. Finally, with alignment secured, we examine design choices specific to binary data, revealing a topology-dependent distinction between probabilistic objectives (e.g., cross-entropy) and geometric losses (e.g., mean squared error). Together, these results provide theoretical foundations and practical guidelines for robust flow matching on binary -- and related discrete -- domains, positioning signal-space alignment as a key principle for robust diffusion learning.


翻译:流匹配已成为生成建模的强大框架,其近期实证成果突显了信号空间预测($x$-预测)的有效性。本文研究将该范式迁移至二元流形——离散数据生成建模的一个基础设定。虽然$x$-预测依然有效,但我们发现当其与基于速度的目标函数($v$-损失)结合时,会产生一种潜在的结构失配,导致出现时间依赖的奇异加权,从而放大了梯度对近似误差的敏感性。基于此观察,我们将预测-损失对齐形式化为流匹配训练的必要条件。我们证明,将目标函数重新对齐至信号空间($x$-损失)可消除奇异加权,产生一致有界的梯度,并使得在均匀时间步采样下无需依赖启发式调度即可实现鲁棒训练。最后,在确保对齐的基础上,我们研究了针对二元数据特有的设计选择,揭示了概率目标(如交叉熵)与几何损失(如均方误差)之间依赖于拓扑结构的差异。这些结果共同为二元(及相关离散)域上的鲁棒流匹配提供了理论基础与实践指导,确立了信号空间对齐作为鲁棒扩散学习的关键原则。

0
下载
关闭预览

相关内容

深度学习图像匹配:综述与展望
专知会员服务
18+阅读 · 2025年6月6日
【KDD2023】基于强化动态对抗训练的鲁棒时空流量预测
专知会员服务
28+阅读 · 2023年7月3日
【AAAI2023】基于时空自监督学习的交通流预测
专知会员服务
23+阅读 · 2022年12月10日
专知会员服务
110+阅读 · 2020年12月22日
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月4日
Arxiv
0+阅读 · 1月23日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员