Image-to-poster generation is a high-demand task requiring not only local adjustments but also high-level design understanding. Models must generate text, layout, style, and visual elements while preserving semantic fidelity and aesthetic coherence. The process spans two regimes: local editing, where ID-driven generation, rescaling, filling, and extending must preserve concrete visual entities; and global creation, where layout- and style-driven tasks rely on understanding abstract design concepts. These intertwined demands make image-to-poster a multi-dimensional process coupling entity-preserving editing with concept-driven creation under image-prompt control. To address these challenges, we propose PosterOmni, a generalized artistic poster creation framework that unlocks the potential of a base edit model for multi-task image-to-poster generation. PosterOmni integrates the two regimes, namely local editing and global creation, within a single system through an efficient data-distillation-reward pipeline: (i) constructing multi-scenario image-to-poster datasets covering six task types across entity-based and concept-based creation; (ii) distilling knowledge between local and global experts for supervised fine-tuning; and (iii) applying unified PosterOmni Reward Feedback to jointly align visual entity-preserving and aesthetic preference across all tasks. Additionally, we establish PosterOmni-Bench, a unified benchmark for evaluating both local editing and global creation. Extensive experiments show that PosterOmni significantly enhances reference adherence, global composition quality, and aesthetic harmony, outperforming all open-source baselines and even surpassing several proprietary systems.


翻译:图像到海报生成是一项高需求任务,不仅需要局部调整,还需具备高层次的设计理解能力。模型必须生成文本、布局、风格和视觉元素,同时保持语义保真度和美学连贯性。该过程涵盖两种机制:局部编辑,其中基于ID的生成、重缩放、填充和延伸必须保留具体的视觉实体;以及全局创作,其中布局和风格驱动的任务依赖于对抽象设计概念的理解。这些相互交织的需求使得图像到海报生成成为一个多维过程,在图像-提示控制下将实体保持编辑与概念驱动创作相耦合。为应对这些挑战,我们提出PosterOmni,一个广义艺术海报创作框架,通过释放基础编辑模型在多任务图像到海报生成中的潜力。PosterOmni通过高效的数据-蒸馏-奖励流程将两种机制(即局部编辑与全局创作)整合到单一系统中:(i)构建涵盖基于实体和基于概念创作的六种任务类型的多场景图像到海报数据集;(ii)在局部与全局专家间进行知识蒸馏以进行监督微调;(iii)应用统一的PosterOmni奖励反馈,在所有任务中联合对齐视觉实体保持与美学偏好。此外,我们建立了PosterOmni-Bench,一个用于评估局部编辑和全局创作的统一基准。大量实验表明,PosterOmni显著提升了参考依从性、全局构图质量和美学协调性,其性能超越所有开源基线模型,甚至优于多个专有系统。

0
下载
关闭预览

相关内容

综述:Image Caption 任务之语句多样性
PaperWeekly
22+阅读 · 2018年11月30日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
综述:Image Caption 任务之语句多样性
PaperWeekly
22+阅读 · 2018年11月30日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员