Recent studies have explored the combination of multiple LoRAs to simultaneously generate user-specified subjects and styles. However, most existing approaches fuse LoRA weights using static statistical heuristics that deviate from LoRA's original purpose of learning adaptive feature adjustments and ignore the randomness of sampled inputs. To address this, we propose a dynamic training-free fusion framework that operates throughout the generation process. During the forward pass, at each LoRA-applied layer, we dynamically compute the KL divergence between the base model's original features and those produced by subject and style LoRAs, respectively, and adaptively select the most appropriate weights for fusion. In the reverse denoising stage, we further refine the generation trajectory by dynamically applying gradient-based corrections derived from objective metrics such as CLIP and DINO scores, providing continuous semantic and stylistic guidance. By integrating these two complementary mechanisms-feature-level selection and metric-guided latent adjustment-across the entire diffusion timeline, our method dynamically achieves coherent subject-style synthesis without any retraining. Extensive experiments across diverse subject-style combinations demonstrate that our approach consistently outperforms state-of-the-art LoRA fusion methods both qualitatively and quantitatively.


翻译:近期研究探索了结合多个LoRA以同时生成用户指定主题与风格的方法。然而,现有方法大多采用静态统计启发式规则融合LoRA权重,这偏离了LoRA学习自适应特征调整的原始设计目标,且忽略了采样输入的随机性。为此,我们提出一种在生成全过程中运行的动态免训练融合框架。在前向传播阶段,我们在每个应用LoRA的层级动态计算基础模型原始特征与主题/风格LoRA生成特征之间的KL散度,并自适应选择最合适的权重进行融合。在反向去噪阶段,我们进一步通过动态应用基于CLIP和DINO分数等客观指标推导的梯度校正来优化生成轨迹,提供持续的语义与风格引导。通过将特征层级选择与度量引导的潜在调整这两种互补机制整合到整个扩散时间线中,我们的方法无需任何重新训练即可动态实现连贯的主题-风格合成。在多样化主题-风格组合上的大量实验表明,本方法在定性与定量评估中均持续优于当前最先进的LoRA融合方法。

0
下载
关闭预览

相关内容

大语言模型的LoRA研究综述
专知会员服务
54+阅读 · 2024年7月17日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
6+阅读 · 2017年6月30日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年6月30日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员