Fine-tuning-based adaptation is widely used to customize diffusion-based image generation, leading to large collections of community-created adapters that capture diverse subjects and styles. Adapters derived from the same base model can be merged with weights, enabling the synthesis of new visual results within a vast and continuous design space. To explore this space, current workflows rely on manual slider-based tuning, an approach that scales poorly and makes weight selection difficult, even when the candidate set is limited to 20-30 adapters. We propose GimmBO to support interactive exploration of adapter merging for image generation through Preferential Bayesian Optimization (PBO). Motivated by observations from real-world usage, including sparsity and constrained weight ranges, we introduce a two-stage BO backend that improves sampling efficiency and convergence in high-dimensional spaces. We evaluate our approach with simulated users and a user study, demonstrating improved convergence, high success rates, and consistent gains over BO and line-search baselines, and further show the flexibility of the framework through several extensions.


翻译:基于微调的适配方法被广泛应用于定制化扩散图像生成,从而形成了大量社区创建的适配器,这些适配器涵盖了多样化的主题与风格。源自同一基础模型的适配器可通过权重合并实现融合,从而在广阔且连续的设计空间中合成新的视觉结果。为探索该空间,现有工作流程依赖于基于手动滑块的调参方法,该方法可扩展性差且权重选择困难,即使候选集仅限于20-30个适配器时亦是如此。我们提出GimmBO,通过偏好贝叶斯优化支持图像生成中适配器融合的交互式探索。基于对实际使用场景(包括稀疏性与受限权重范围)的观察,我们引入两阶段贝叶斯优化后端,以提升高维空间中的采样效率与收敛性。通过模拟用户实验与用户研究评估本方法,结果表明相较于贝叶斯优化与线搜索基线,本方法在收敛性、成功率与综合收益方面均有显著提升,并通过多项扩展实验进一步验证了框架的灵活性。

0
下载
关闭预览

相关内容

深度学习图像匹配:综述与展望
专知会员服务
18+阅读 · 2025年6月6日
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员