Subject-driven image generation aims to synthesize novel scenes that faithfully preserve subject identity from reference images while adhering to textual guidance. However, existing methods struggle with a critical trade-off between fidelity and efficiency. Tuning-based approaches rely on time-consuming and resource-intensive, subject-specific optimization, while zero-shot methods often fail to maintain adequate subject consistency. In this work, we propose FreeGraftor, a training-free framework that addresses these limitations through cross-image feature grafting. Specifically, FreeGraftor leverages semantic matching and position-constrained attention fusion to transfer visual details from reference subjects to the generated images. Additionally, our framework introduces a novel noise initialization strategy to preserve the geometry priors of reference subjects, facilitating robust feature matching. Extensive qualitative and quantitative experiments demonstrate that our method enables precise subject identity transfer while maintaining text-aligned scene synthesis. Without requiring model fine-tuning or additional training, FreeGraftor significantly outperforms existing zero-shot and training-free approaches in both subject fidelity and text alignment. Furthermore, our framework can seamlessly extend to multi-subject generation, making it practical for real-world deployment. Our code is available at https://github.com/Nihukat/FreeGraftor.


翻译:主体驱动的图像生成旨在合成新颖场景,这些场景在忠实保留参考图像中主体身份的同时,遵循文本引导。然而,现有方法在保真度与效率之间存在关键的权衡困境。基于调优的方法依赖于耗时且资源密集的主体特定优化,而零样本方法往往难以保持足够的主体一致性。在本工作中,我们提出FreeGraftor,一个免训练的框架,通过跨图像特征嫁接来解决这些局限。具体而言,FreeGraftor利用语义匹配和位置约束的注意力融合,将视觉细节从参考主体转移到生成图像中。此外,我们的框架引入了一种新颖的噪声初始化策略,以保留参考主体的几何先验,从而促进鲁棒的特征匹配。大量的定性与定量实验表明,我们的方法能够实现精确的主体身份迁移,同时保持文本对齐的场景合成。无需模型微调或额外训练,FreeGraftor在主体保真度和文本对齐方面均显著优于现有的零样本和免训练方法。此外,我们的框架可以无缝扩展到多主体生成,使其在实际部署中具有实用性。我们的代码发布于 https://github.com/Nihukat/FreeGraftor。

0
下载
关闭预览

相关内容

【AAAI2022】基于特征纯化的视线估计算法
专知会员服务
10+阅读 · 2022年2月11日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月6日
VIP会员
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员