With the rapid advancement of Large Language Models (LLMs) in code generation, human-AI interaction is evolving from static text responses to dynamic, interactive HTML-based applications, which we term MiniApps. These applications require models to not only render visual interfaces but also construct customized interaction logic that adheres to real-world principles. However, existing benchmarks primarily focus on algorithmic correctness or static layout reconstruction, failing to capture the capabilities required for this new paradigm. To address this gap, we introduce MiniAppBench, the first comprehensive benchmark designed to evaluate principle-driven, interactive application generation. Sourced from a real-world application with 10M+ generations, MiniAppBench distills 500 tasks across six domains (e.g., Games, Science, and Tools). Furthermore, to tackle the challenge of evaluating open-ended interactions where no single ground truth exists, we propose MiniAppEval, an agentic evaluation framework. Leveraging browser automation, it performs human-like exploratory testing to systematically assess applications across three dimensions: Intention, Static, and Dynamic. Our experiments reveal that current LLMs still face significant challenges in generating high-quality MiniApps, while MiniAppEval demonstrates high alignment with human judgment, establishing a reliable standard for future research. Our code is available in github.com/MiniAppBench.


翻译:随着大型语言模型(LLM)在代码生成领域的快速发展,人机交互正从静态文本响应演变为动态的、基于HTML的交互式应用程序,我们将其称为MiniApps。这类应用要求模型不仅能渲染可视化界面,还需构建符合现实世界原则的定制化交互逻辑。然而,现有基准测试主要关注算法正确性或静态布局重建,未能涵盖这一新范式所需的能力。为填补这一空白,我们提出了MiniAppBench——首个用于评估原则驱动的交互式应用生成的综合性基准。该基准源自一个拥有超过1000万次生成记录的真实应用场景,提炼出涵盖六个领域(如游戏、科学和工具)的500项任务。此外,为应对开放式交互评估中不存在单一标准答案的挑战,我们提出了MiniAppEval——一个基于智能体的评估框架。该框架利用浏览器自动化技术,执行类人探索性测试,从意图、静态和动态三个维度系统评估应用程序。实验表明,当前LLM在生成高质量MiniApps方面仍面临显著挑战,而MiniAppEval展现出与人类判断的高度一致性,为未来研究建立了可靠的标准。我们的代码已发布于github.com/MiniAppBench。

0
下载
关闭预览

相关内容

揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
《LLM 时代小模型的作用》综述
专知会员服务
49+阅读 · 2024年9月12日
大型语言模型(LLMs),附Slides与视频
专知会员服务
71+阅读 · 2024年6月30日
如何检测LLM内容?UCSB等最新首篇《LLM生成内容检测》综述
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
高效的文本生成方法 — LaserTagger 现已开源
TensorFlow
30+阅读 · 2020年2月27日
微信小程序支持webP的WebAssembly方案
前端之巅
19+阅读 · 2019年8月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月30日
VIP会员
最新内容
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
1+阅读 · 39分钟前
软件定义多域战术网络:基础与未来方向(综述)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员