Existing generative models, such as diffusion and auto-regressive networks, are inherently static, relying on a fixed set of pretrained parameters to handle all inputs. In contrast, humans flexibly adapt their internal generative representations to each perceptual or imaginative context. Inspired by this capability, we introduce Composer, a new paradigm for adaptive generative modeling based on test-time instance-specific parameter composition. Composer generates input-conditioned parameter adaptations at inference time, which are injected into the pretrained model's weights, enabling per-input specialization without fine-tuning or retraining. Adaptation occurs once prior to multi-step generation, yielding higher-quality, context-aware outputs with minimal computational and memory overhead. Experiments show that Composer substantially improves performance across diverse generative models and use cases, including lightweight/quantized models and test-time scaling. By leveraging input-aware parameter composition, Composer establishes a new paradigm for designing generative models that dynamically adapt to each input, moving beyond static parameterization.


翻译:现有生成模型(如扩散网络和自回归网络)本质上是静态的,依赖一组固定的预训练参数来处理所有输入。相比之下,人类能够灵活地调整其内部生成表征以适应每个感知或想象情境。受此能力启发,我们提出了Composer——一种基于测试时实例特定参数组合的自适应生成建模新范式。Composer在推理阶段生成输入条件化的参数适应项,并将其注入预训练模型的权重中,从而无需微调或重新训练即可实现针对每个输入的特化。适应过程在生成步骤开始前仅执行一次,以极小的计算和内存开销生成更高质量且具有上下文感知能力的输出。实验表明,Composer在多种生成模型和应用场景(包括轻量/量化模型及测试时缩放)中显著提升了性能。通过利用输入感知参数组合,Composer建立了一种新型生成模型设计范式,使模型能够动态适应每个输入,从而突破了静态参数化的局限。

0
下载
关闭预览

相关内容

无人自主系统能力边界参数自适应判别方法
专知会员服务
20+阅读 · 2024年10月26日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
【ICML2024】理解视觉语言模型的检索增强任务自适应
专知会员服务
23+阅读 · 2024年5月8日
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【港科大博士论文】生成模型的统计和结构特性,338页pdf
专知会员服务
48+阅读 · 2022年12月20日
英国杜伦大学「深度生成建模」大综述论文,21页pdf
专知会员服务
49+阅读 · 2021年3月16日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
推荐|上交大推出Texygen:文本生成模型的基准测试平台
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月6日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
无人自主系统能力边界参数自适应判别方法
专知会员服务
20+阅读 · 2024年10月26日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
【ICML2024】理解视觉语言模型的检索增强任务自适应
专知会员服务
23+阅读 · 2024年5月8日
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【港科大博士论文】生成模型的统计和结构特性,338页pdf
专知会员服务
48+阅读 · 2022年12月20日
英国杜伦大学「深度生成建模」大综述论文,21页pdf
专知会员服务
49+阅读 · 2021年3月16日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员