Flow Matching has emerged as a powerful framework for learning continuous transformations between distributions, enabling high-fidelity generative modeling. This work introduces Symmetrical Flow Matching (SymmFlow), a new formulation that unifies semantic segmentation, classification, and image generation within a single model. Using a symmetric learning objective, SymmFlow models forward and reverse transformations jointly, ensuring bi-directional consistency, while preserving sufficient entropy for generative diversity. A new training objective is introduced to explicitly retain semantic information across flows, featuring efficient sampling while preserving semantic structure, allowing for one-step segmentation and classification without iterative refinement. Unlike previous approaches that impose strict one-to-one mapping between masks and images, SymmFlow generalizes to flexible conditioning, supporting both pixel-level and image-level class labels. Experimental results on various benchmarks demonstrate that SymmFlow achieves state-of-the-art performance on semantic image synthesis, obtaining FID scores of 11.9 on CelebAMask-HQ and 7.0 on COCO-Stuff with only 25 inference steps. Additionally, it delivers competitive results on semantic segmentation and shows promising capabilities in classification tasks.


翻译:流匹配已成为学习分布间连续变换的强大框架,能够实现高保真度的生成建模。本文提出对称流匹配(SymmFlow),这是一种将语义分割、分类和图像生成统一于单一模型的新范式。通过对称学习目标,SymmFlow联合建模正向与反向变换,确保双向一致性的同时保留足够的熵以维持生成多样性。我们引入新的训练目标以显式保留跨流语义信息,在保持语义结构的前提下实现高效采样,从而支持无需迭代优化的单步分割与分类。与先前强制掩码与图像间严格一对一映射的方法不同,SymmFlow推广至灵活的条件生成范式,同时支持像素级和图像级类别标签。在多个基准测试上的实验结果表明,SymmFlow在语义图像合成任务中达到最先进性能,仅需25步推理即在CelebAMask-HQ数据集获得11.9的FID分数,在COCO-Stuff数据集获得7.0的FID分数。此外,该方法在语义分割任务中取得具有竞争力的结果,并在分类任务中展现出有前景的能力。

0
下载
关闭预览

相关内容

流匹配在生物学与生命科学中的应用综述
专知会员服务
16+阅读 · 2025年7月25日
深度学习图像匹配:综述与展望
专知会员服务
18+阅读 · 2025年6月6日
对比预训练和多模态生成式人工智能的统计理论
专知会员服务
22+阅读 · 2025年1月12日
【CMU博士论文】学习匹配模型
专知会员服务
28+阅读 · 2024年12月17日
基于深度学习的图像匹配:方法、应用与挑战
专知会员服务
24+阅读 · 2024年7月19日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
如何用TensorFlow和TF-Slim实现图像标注、分类与分割
北京思腾合力科技有限公司
21+阅读 · 2017年11月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 1月23日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员