The rapid progress of Artificial Intelligence Generated Content (AIGC) tools enables images, videos, and visualizations to be created on demand for webpage design, offering a flexible and increasingly adopted paradigm for modern UI/UX. However, directly integrating such tools into automated webpage generation often leads to style inconsistency and poor global coherence, as elements are generated in isolation. We propose MM-WebAgent, a hierarchical agentic framework for multimodal webpage generation that coordinates AIGC-based element generation through hierarchical planning and iterative self-reflection. MM-WebAgent jointly optimizes global layout, local multimodal content, and their integration, producing coherent and visually consistent webpages. We further introduce a benchmark for multimodal webpage generation and a multi-level evaluation protocol for systematic assessment. Experiments demonstrate that MM-WebAgent outperforms code-generation and agent-based baselines, especially on multimodal element generation and integration. Code & Data: https://aka.ms/mm-webagent.


翻译:人工智能生成内容(AIGC)工具的快速发展使得能够按需生成图像、视频及可视化内容用于网页设计,为现代UI/UX提供了一种灵活且日益普及的范式。然而,将这些工具直接集成到自动化网页生成中往往会导致风格不一致和全局连贯性差,因为各元素是孤立生成的。我们提出MM-WebAgent——一种分层代理框架,通过分层规划和迭代自我反思协调基于AIGC的元素生成,实现多模态网页生成。MM-WebAgent联合优化全局布局、局部多模态内容及其集成,生成连贯且视觉一致的网页。我们进一步引入了多模态网页生成基准测试及多层级评估协议用于系统评估。实验表明,MM-WebAgent在代码生成和基于代理的基线方法中表现更优,尤其在多模态元素生成与集成方面。代码与数据:https://aka.ms/mm-webagent。

0
下载
关闭预览

相关内容

AIGC如何助力工作和学习,98页ppt
专知会员服务
40+阅读 · 2025年3月14日
182页!《AIGC发展研究报告3.0》正式发布
专知会员服务
63+阅读 · 2024年12月1日
AIGC的技术发展和应用:ChatGPT,20页pdf
专知会员服务
174+阅读 · 2023年2月13日
MMDetection v2.0 训练自己的数据集
CVer
30+阅读 · 2020年8月9日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
CenterNet:目标即点(代码已开源)
极市平台
25+阅读 · 2019年5月24日
图卷积网络介绍及进展【附PPT与视频资料】
人工智能前沿讲习班
24+阅读 · 2019年1月3日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
AIGC如何助力工作和学习,98页ppt
专知会员服务
40+阅读 · 2025年3月14日
182页!《AIGC发展研究报告3.0》正式发布
专知会员服务
63+阅读 · 2024年12月1日
AIGC的技术发展和应用:ChatGPT,20页pdf
专知会员服务
174+阅读 · 2023年2月13日
相关资讯
MMDetection v2.0 训练自己的数据集
CVer
30+阅读 · 2020年8月9日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
CenterNet:目标即点(代码已开源)
极市平台
25+阅读 · 2019年5月24日
图卷积网络介绍及进展【附PPT与视频资料】
人工智能前沿讲习班
24+阅读 · 2019年1月3日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员