Multimodal large language models (MLLMs) perform strongly on engineering imagery, yet existing benchmarks mostly test drawing recognition, information extraction, or compliance checking, leaving open whether models can combine distributed visual evidence with engineering principles to reach a conclusion. We introduce MMArch, a benchmark for architecture and civil engineering spanning ten subdomains and built entirely from figures in peer-reviewed papers. Its $1{,}212$ short-answer items are produced by a decoupled planner--writer pipeline and validated through automated screening, a blind adversarial audit, and expert review, so that answering requires perceiving the relevant evidence, identifying the governing principle, and applying it, not exploiting textual or single-figure shortcuts. Evaluating $18$ open-weight and proprietary MLLMs against a domain-expert panel, we find a wide gap: the strongest open-source model attains about $30\%$ and the best proprietary system $52\%$, while human experts reach $95\%$, more than forty points ahead. Our error analysis shows that failures concentrate in applying principles and combining evidence across figures rather than in locating it, pointing to substantial headroom for future research. Code and data are available at https://dcx-swjtu.github.io/MMArch/.


翻译:暂无翻译

0
下载
关闭预览

相关内容

可靠且负责任的基础模型:全面综述
专知会员服务
20+阅读 · 2月10日
多模态幻觉的评估与检测综述
专知会员服务
18+阅读 · 2025年7月28日
多模态大型语言模型:综述
专知会员服务
47+阅读 · 2025年6月14日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
33+阅读 · 2025年3月5日
MME-Survey:多模态大型语言模型评估的综合性调查
专知会员服务
43+阅读 · 2024年12月1日
多模态大规模语言模型基准的综述
专知会员服务
41+阅读 · 2024年8月25日
博士万字总结 || 多智能体强化学习(MARL)大总结与论文详细解读
深度强化学习实验室
10+阅读 · 2020年4月14日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
39+阅读 · 2020年3月15日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
1+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
9+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
10+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
9+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
8+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
9+阅读 · 10月12日
相关VIP内容
可靠且负责任的基础模型:全面综述
专知会员服务
20+阅读 · 2月10日
多模态幻觉的评估与检测综述
专知会员服务
18+阅读 · 2025年7月28日
多模态大型语言模型:综述
专知会员服务
47+阅读 · 2025年6月14日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
33+阅读 · 2025年3月5日
MME-Survey:多模态大型语言模型评估的综合性调查
专知会员服务
43+阅读 · 2024年12月1日
多模态大规模语言模型基准的综述
专知会员服务
41+阅读 · 2024年8月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员