Image vectorization is often evaluated by rendering fidelity, which cannot distinguish documents that render identically but support different edits. Edit-based evaluation tests outcomes, but an oracle that gathers a part's fragments can conceal the cost of selecting them. We introduce Pass@k, which tests whether a prescribed edit can succeed using objects selectable within k clicks under a specified interaction model. Eight document diagnostics characterize properties relevant to editing beyond these tasks. We assess structural sensitivity through controlled perturbations, practical relevance through designer operations, and reference dependence through alternative drawings. We evaluate twelve open and commercial methods on 211 references, with 635 edit tasks on 93 of them. In each of four reference sets, including two drawn by designers, 64-88% of oracle-passed tasks on parts composed of multiple shapes fail at Pass@1, against 6-40% for single shapes, pooling counts over configurations. Higher fidelity does not guarantee higher Pass@1, while selected diagnostics are associated with designers' effort in our study.


翻译:暂无翻译

0
下载
关闭预览

相关内容

AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
18+阅读 · 2022年2月26日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
干货 | 图像分割概述 & ENet 实例
AI科技评论
22+阅读 · 2019年2月24日
图像分割概述 & ENet 实例
AI研习社
14+阅读 · 2019年2月19日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
11+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
18+阅读 · 2022年2月26日
相关资讯
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
干货 | 图像分割概述 & ENet 实例
AI科技评论
22+阅读 · 2019年2月24日
图像分割概述 & ENet 实例
AI研习社
14+阅读 · 2019年2月19日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员