While text-to-image generation has achieved unprecedented fidelity, the vast majority of existing models function fundamentally as static text-to-pixel decoders. Consequently, they often fail to grasp implicit user intentions. Although emerging unified understanding-generation models have improved intent comprehension, they still struggle to accomplish tasks involving complex knowledge reasoning within a single model. Moreover, constrained by static internal priors, these models remain unable to adapt to the evolving dynamics of the real world. To bridge these gaps, we introduce Mind-Brush, a unified agentic framework that transforms generation into a dynamic, knowledge-driven workflow. Simulating a human-like 'think-research-create' paradigm, Mind-Brush actively retrieves multimodal evidence to ground out-of-distribution concepts and employs reasoning tools to resolve implicit visual constraints. To rigorously evaluate these capabilities, we propose Mind-Bench, a comprehensive benchmark comprising 500 distinct samples spanning real-time news, emerging concepts, and domains such as mathematical and Geo-Reasoning. Extensive experiments demonstrate that Mind-Brush significantly enhances the capabilities of unified models, realizing a zero-to-one capability leap for the Qwen-Image baseline on Mind-Bench, while achieving superior results on established benchmarks like WISE and RISE.


翻译:尽管文本到图像生成已实现前所未有的逼真度,但绝大多数现有模型本质上仍作为静态的文本到像素解码器运行。因此,它们往往难以把握用户的隐含意图。虽然新兴的统一理解-生成模型提升了意图理解能力,但仍难以在单一模型中完成涉及复杂知识推理的任务。此外,受限于静态的内部先验,这些模型仍无法适应现实世界不断演变的动态性。为弥合这些差距,我们提出了Mind-Brush——一个将生成过程转化为动态知识驱动工作流的统一智能体框架。通过模拟类人的“思考-检索-创作”范式,Mind-Brush主动检索多模态证据以锚定分布外概念,并运用推理工具解析隐含的视觉约束。为严格评估这些能力,我们构建了Mind-Bench综合基准测试集,涵盖实时新闻、新兴概念及数学与地理推理等领域的500个差异化样本。大量实验表明,Mind-Brush显著增强了统一模型的能力,使Qwen-Image基线在Mind-Bench上实现了从零到一的能力跃升,同时在WISE和RISE等成熟基准测试中取得了更优结果。

0
下载
关闭预览

相关内容

IMAGINE-E:最先进文本到图像模型的图像生成智能评估
专知会员服务
13+阅读 · 2025年2月3日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
【博士论文】深度生成表示学习
专知会员服务
35+阅读 · 2025年1月13日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员