This paper introduces Story-Iter, a new training-free iterative paradigm to enhance long-story generation. Unlike existing methods that rely on fixed reference images to construct a complete story, our approach features a novel external iterative paradigm, extending beyond the internal iterative denoising steps of diffusion models, to continuously refine each generated image by incorporating all reference images from the previous round. To achieve this, we propose a plug-and-play, training-free global reference cross-attention (GRCA) module, modeling all reference frames with global embeddings, ensuring semantic consistency in long sequences. By progressively incorporating holistic visual context and text constraints, our iterative paradigm enables precise generation with fine-grained interactions, optimizing the story visualization step-by-step. Extensive experiments in the official story visualization dataset and our long story benchmark demonstrate that Story-Iter's state-of-the-art performance in long-story visualization (up to 100 frames) excels in both semantic consistency and fine-grained interactions.


翻译:本文介绍了Story-Iter,一种新的免训练迭代范式,用于增强长故事生成。与现有方法依赖固定参考图像来构建完整故事不同,我们的方法采用了一种新颖的外部迭代范式,其超越了扩散模型内部的迭代去噪步骤,通过整合前一轮生成的所有参考图像来持续优化每一幅生成的图像。为实现此目标,我们提出了一种即插即用、免训练的全局参考交叉注意力(GRCA)模块,该模块利用全局嵌入对所有参考帧进行建模,确保了长序列中的语义一致性。通过逐步整合整体视觉上下文和文本约束,我们的迭代范式能够通过细粒度交互实现精确生成,从而逐步优化故事可视化过程。在官方故事可视化数据集及我们构建的长故事基准上的大量实验表明,Story-Iter在长故事可视化(长达100帧)任务中取得了最先进的性能,在语义一致性和细粒度交互方面均表现出色。

0
下载
关闭预览

相关内容

【AAAI2026】无限叙事:免训练的角色一致性文生图技术
专知会员服务
8+阅读 · 2025年11月18日
视频文本预训练简述
专知会员服务
22+阅读 · 2022年7月24日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员