We present OpenComputer, a verifier-grounded framework for constructing verifiable software worlds for computer-use agents. OpenComputer integrates four components: (1) app-specific state verifiers that expose structured inspection endpoints over real applications, (2) a self-evolving verification layer that improves verifier reliability using execution-grounded feedback, (3) a task-generation pipeline that synthesizes realistic and machine-checkable desktop tasks, and (4) an evaluation harness that records full trajectories and computes auditable partial-credit rewards. In its current form, OpenComputer covers 33 desktop applications and 1,000 finalized tasks spanning browsers, office tools, creative software, development environments, file managers, and communication applications. Experiments show that OpenComputer's hard-coded verifiers align more closely with human adjudication than LLM-as-judge evaluation, especially when success depends on fine-grained application state. Frontier agents struggle with end-to-end completion despite partial progress, and open-source models exhibit sharp drops from their OSWorld-Verified scores, exposing a persistent gap in robust computer automation.


翻译:我们提出开放计算机(OpenComputer),一种基于验证器的框架,用于为计算机使用智能体构建可验证的软件世界。开放计算机整合了四个组件:(1)针对特定应用的软件状态验证器,可在真实应用上暴露结构化检查端点;(2)自我演进的验证层,利用执行驱动的反馈提升验证器可靠性;(3)任务生成流水线,可合成真实且机器可检查的桌面任务;(4)评估工具集,可记录完整轨迹并计算可审计的部分学分奖励。当前版本的开放计算机覆盖33款桌面应用及1000个精炼任务,涵盖浏览器、办公工具、创意软件、开发环境、文件管理器和通信应用。实验表明,相比大语言模型作为评判的评估方式,开放计算机的硬编码验证器与人类裁决的吻合度更高——尤其当任务成功取决于细粒度应用状态时。前沿智能体虽能取得部分进展,但端到端完成任务仍显吃力;开源模型在OSWorld验证分数上出现显著下降,揭示了稳健计算机自动化领域的持续差距。

0
下载
关闭预览

相关内容

软件定义战争:跨越两大软件领域的鸿沟
专知会员服务
14+阅读 · 6月30日
智能体工程(Agent Engineering)
专知会员服务
38+阅读 · 2025年12月31日
《软件定义网络元素与机器代码的形式化验证》
专知会员服务
14+阅读 · 2025年11月18日
迈向开放世界检测:综述
专知会员服务
24+阅读 · 2025年8月25日
开放世界机器学习
专知会员服务
32+阅读 · 2024年3月7日
中科大《计算机体系结构》2021课程,附课件
专知会员服务
77+阅读 · 2021年4月4日
【经典书】《学习OpenCV 3》,1018页pdf
专知会员服务
133+阅读 · 2021年2月28日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
下载 | 866页《计算机视觉:原理,算法,应用,学习》第五版
机器学习算法与Python学习
24+阅读 · 2019年1月1日
【综述】计算机视觉简介:历史、现状和发展趋势【可下载】
机器学习算法与Python学习
15+阅读 · 2018年9月21日
计算机视觉简介:历史、现状和发展趋势
机器学习研究会
22+阅读 · 2017年11月21日
资源 | 清华大学开源OpenKE:知识表示学习平台
机器之心
10+阅读 · 2017年11月4日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Arxiv
11+阅读 · 2023年8月28日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
1+阅读 · 今天2:42
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
相关VIP内容
软件定义战争:跨越两大软件领域的鸿沟
专知会员服务
14+阅读 · 6月30日
智能体工程(Agent Engineering)
专知会员服务
38+阅读 · 2025年12月31日
《软件定义网络元素与机器代码的形式化验证》
专知会员服务
14+阅读 · 2025年11月18日
迈向开放世界检测:综述
专知会员服务
24+阅读 · 2025年8月25日
开放世界机器学习
专知会员服务
32+阅读 · 2024年3月7日
中科大《计算机体系结构》2021课程,附课件
专知会员服务
77+阅读 · 2021年4月4日
【经典书】《学习OpenCV 3》,1018页pdf
专知会员服务
133+阅读 · 2021年2月28日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员