Flow matching has emerged as a powerful framework for generative modeling, with recent empirical successes highlighting the effectiveness of signal-space prediction ($x$-prediction). In this work, we investigate the transfer of this paradigm to binary manifolds, a fundamental setting for generative modeling of discrete data. While $x$-prediction remains effective, we identify a latent structural mismatch that arises when it is coupled with velocity-based objectives ($v$-loss), leading to a time-dependent singular weighting that amplifies gradient sensitivity to approximation errors. Motivated by this observation, we formalize prediction-loss alignment as a necessary condition for flow matching training. We prove that re-aligning the objective to the signal space ($x$-loss) eliminates the singular weighting, yielding uniformly bounded gradients and enabling robust training under uniform timestep sampling without reliance on heuristic schedules. Finally, with alignment secured, we examine design choices specific to binary data, revealing a topology-dependent distinction between probabilistic objectives (e.g., cross-entropy) and geometric losses (e.g., mean squared error). Together, these results provide theoretical foundations and practical guidelines for robust flow matching on binary -- and related discrete -- domains, positioning signal-space alignment as a key principle for robust diffusion learning.


翻译:流匹配已成为生成建模的强大框架,近期实证成功凸显了信号空间预测($x$-预测)的有效性。本文研究将该范式迁移至二元流形——离散数据生成建模的基础场景。尽管$x$-预测保持有效,我们识别出当其与基于速度的目标函数($v$-损失)结合时产生的潜在结构失配,导致时变奇异加权现象,从而放大近似误差对梯度的敏感性。基于此观察,我们形式化地将预测-损失对齐定义为流匹配训练的必要条件。证明将目标函数重新对齐至信号空间($x$-损失)可消除奇异加权,产生一致有界梯度,并实现在均匀时间步采样下无需依赖启发式调度策略的鲁棒训练。最后,在对齐得到保障的基础上,我们考察二元数据特有的设计选择,揭示概率型目标函数(如交叉熵)与几何型损失函数(如均方误差)之间依赖于拓扑结构的区别。这些结果共同为二元及相关的离散域上的鲁棒流匹配提供了理论基础与实践指南,将信号空间对齐定位为鲁棒扩散学习的关键原则。

0
下载
关闭预览

相关内容

深度学习图像匹配:综述与展望
专知会员服务
18+阅读 · 2025年6月6日
【KDD2023】基于强化动态对抗训练的鲁棒时空流量预测
专知会员服务
28+阅读 · 2023年7月3日
【AAAI2023】基于时空自监督学习的交通流预测
专知会员服务
23+阅读 · 2022年12月10日
专知会员服务
110+阅读 · 2020年12月22日
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
VIP会员
相关主题
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员