Diffusion-based style transfer must balance inference efficiency with stylization fidelity. Adapter-based methods are efficient, but they inject style as an external condition and can either weaken reference-specific appearance or copy reference semantics into the generated image. Optimization-based personalization methods such as LoRA internalize style more effectively, but require a separate training process for every new style. We introduce i2L (image-to-LoRA), a framework that amortizes style LoRA training into a single forward pass. Given one or more reference images, i2L predicts LoRA weights for a text-to-image model, enabling immediate style instantiation without per-style optimization. The architecture combines an image encoder, learnable LoRA queries, and compressed decoding heads that generate adapted matrices. Training on semantically diverse style pairs encourages the predictor to preserve appearance cues while suppressing reference-content copying. Experiments on Z-Image, FLUX.2, and Hidream-O1 show that i2L improves style fidelity, prompt alignment, and perceptual quality over existing baselines. Because i2L produces explicit LoRA weights, it also supports asymmetric classifier-free guidance, multi-reference style fusion, and composition with controllable-generation modules.


翻译:基于扩散的风格迁移需在推理效率与风格化保真度之间寻求平衡。适配器类方法虽高效,但将风格作为外部条件注入,可能导致参考图像外观特征弱化或语义被复制至生成图像。基于优化的个性化方法(如LoRA)能更有效内化风格,但需为每个新风格单独训练。我们提出i2L(图像至LoRA)框架,将风格LoRA训练摊销至单次前向传播。给定一张或多张参考图像,i2L可预测文生图模型的LoRA权重,无需逐风格优化即可即时实例化风格。其架构融合图像编码器、可学习LoRA查询与生成适配矩阵的压缩解码头。在语义多样化的风格对上进行训练,可促使预测器在抑制参考语义复制的同时保留外观线索。在Z-Image、FLUX.2和Hidream-O1上的实验表明,i2L在风格保真度、提示对齐及感知质量上均超越现有基线。由于i2L生成显式LoRA权重,还支持非对称分类器自由引导、多参考风格融合及与可控生成模块的组合。

0
下载
关闭预览

相关内容

前馈式三维场景建模
专知会员服务
13+阅读 · 4月17日
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
专知会员服务
34+阅读 · 2021年10月8日
深度神经网络模型训练中的最新tricks总结【原理与代码汇总】
人工智能前沿讲习班
172+阅读 · 2019年3月6日
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
风格迁移原理及tensorflow实现-附代码
机器学习研究会
19+阅读 · 2018年3月25日
图像风格迁移(Neural Style)简史
算法与数学之美
21+阅读 · 2018年2月4日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
面向2027年及未来的海军情报改革
专知会员服务
1+阅读 · 8月5日
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
4+阅读 · 8月5日
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 8月5日
相关VIP内容
前馈式三维场景建模
专知会员服务
13+阅读 · 4月17日
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
专知会员服务
34+阅读 · 2021年10月8日
相关资讯
深度神经网络模型训练中的最新tricks总结【原理与代码汇总】
人工智能前沿讲习班
172+阅读 · 2019年3月6日
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
风格迁移原理及tensorflow实现-附代码
机器学习研究会
19+阅读 · 2018年3月25日
图像风格迁移(Neural Style)简史
算法与数学之美
21+阅读 · 2018年2月4日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员