The rise of AI agents introduces a fundamental shift in Visual Analytics (VA), in which agents act as a new user group. Current agentic approaches - based on computer vision and raw DOM access - fail to perform VA tasks accurately and efficiently. This paper introduces the Visual Analytics Context Protocol (VACP), a framework designed to make VA applications "agent-ready" that extends generic protocols by explicitly exposing application state, available interactions, and mechanisms for direct execution. To support our context protocol, we contribute a formal specification of AI agent requirements and knowledge representations in VA interfaces. We instantiate VACP as a library compatible with major visualization grammars and web frameworks, enabling augmentation of existing systems and the development of new ones. Our evaluation across representative VA tasks demonstrates that VACP-enabled agents achieve higher success rates in interface interpretation and execution compared to current agentic approaches, while reducing token consumption and latency. VACP closes the gap between human-centric VA interfaces and machine perceivability, ensuring agents can reliably act as collaborative users in VA systems.


翻译:人工智能代理的兴起引发了视觉分析领域的一项根本性转变,即代理作为新的用户群体出现。当前基于计算机视觉和原始DOM访问的代理方法无法准确高效地执行视觉分析任务。本文介绍了视觉分析上下文协议(VACP),这是一个旨在使视觉分析应用程序具备“代理就绪”能力的框架,该框架通过显式暴露应用程序状态、可用交互及直接执行机制来扩展通用协议。为支撑我们的上下文协议,我们提出了视觉分析界面中人工智能代理需求与知识表征的形式化规范。我们将VACP实例化为一个兼容主流可视化语法和Web框架的库,从而支持对现有系统的增强及新系统的开发。在典型视觉分析任务上的评估表明,与当前的代理方法相比,启用VACP的代理在界面解读与执行方面取得了更高的成功率,同时降低了令牌消耗和延迟。VACP弥合了以人为中心的视觉分析界面与机器可感知性之间的鸿沟,确保代理能够可靠地在视觉分析系统中作为协作用户发挥作用。

0
下载
关闭预览

相关内容

《军事场景中的视觉分析探索》2023最新124页技术报告
专知会员服务
83+阅读 · 2023年3月2日
国防科大《视觉-语言导航》综述论文,24页pdf154篇文献
专知会员服务
64+阅读 · 2021年8月27日
视频分析中的人工智能 (AI)白皮书,16页pdf
专知会员服务
68+阅读 · 2021年5月6日
【学科发展报告】计算机视觉
中国自动化学会
43+阅读 · 2018年10月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
《军事场景中的视觉分析探索》2023最新124页技术报告
专知会员服务
83+阅读 · 2023年3月2日
国防科大《视觉-语言导航》综述论文,24页pdf154篇文献
专知会员服务
64+阅读 · 2021年8月27日
视频分析中的人工智能 (AI)白皮书,16页pdf
专知会员服务
68+阅读 · 2021年5月6日
相关资讯
【学科发展报告】计算机视觉
中国自动化学会
43+阅读 · 2018年10月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员