The rise of Large Language Model (LLM)-based web agents represents a significant shift in automated interactions with the web. Unlike traditional crawlers that follow simple conventions, such as robots$.$txt, modern agents engage with websites in sophisticated ways: navigating complex interfaces, extracting structured information, and completing end-to-end tasks. Existing governance mechanisms were not designed for these capabilities. Without a way to specify what interactions are and are not allowed, website owners increasingly rely on blanket blocking and CAPTCHAs, which undermine beneficial applications such as efficient automation, convenient use of e-commerce services, and accessibility tools. We introduce agent-permissions$.$json, a robots$.$txt-style lightweight manifest where websites specify allowed interactions, complemented by API references where available. This framework provides a low-friction coordination mechanism: website owners only need to write a simple JSON file, while agents can easily parse and automatically implement the manifest's provisions. Website owners can then focus on blocking non-compliant agents, rather than agents as a whole. By extending the spirit of robots$.$txt to the era of LLM-mediated interaction, and complementing data use initiatives such as AIPref, the manifest establishes a compliance framework that enables beneficial agent interactions while respecting site owners' preferences.


翻译:基于大型语言模型(LLM)的网络代理的兴起,标志着网络自动化交互方式的重大变革。与传统爬虫遵循简单规范(如robots.txt)不同,现代代理能以复杂方式与网站交互:导航复杂界面、提取结构化信息并完成端到端任务。现有治理机制并非为这些能力设计。由于缺乏明确允许与禁止交互的规范方式,网站所有者日益依赖全面屏蔽和验证码机制,这反而损害了高效自动化、便捷电商服务及无障碍工具等有益应用。我们提出agent-permissions.json——一种仿robots.txt风格的轻量级清单机制,允许网站声明许可的交互行为,并在可行时提供API参考。该框架建立了低摩擦协调机制:网站所有者仅需编写简单JSON文件,代理则可轻松解析并自动执行清单条款。网站所有者因而能专注于拦截违规代理,而非全盘禁止代理访问。通过将robots.txt的设计理念延伸至LLM中介交互时代,并补充AIPref等数据使用倡议,该清单建立了一个合规框架,在尊重网站所有者偏好的同时,为有益的代理交互提供支持。

0
下载
关闭预览

相关内容

AgentOps综述:分类、挑战与未来方向
专知会员服务
38+阅读 · 2025年8月6日
探索大型语言模型在网络安全中的作用:一项系统综述
专知会员服务
20+阅读 · 2025年4月27日
《代理型人工智能全面指南》,45页ppt
专知会员服务
61+阅读 · 2025年2月12日
大型语言模型代理的安全与隐私综述
专知会员服务
29+阅读 · 2024年8月5日
大型语言模型网络安全综述
专知会员服务
67+阅读 · 2024年5月12日
AI Agent,大模型时代重要落地方向, 42页ppt
专知会员服务
290+阅读 · 2023年10月12日
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
NetworkMiner - 网络取证分析工具
黑白之道
16+阅读 · 2018年6月29日
我是一个爬虫
码农翻身
12+阅读 · 2018年6月4日
设计和实现一款轻量级的爬虫框架
架构文摘
13+阅读 · 2018年1月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关资讯
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
NetworkMiner - 网络取证分析工具
黑白之道
16+阅读 · 2018年6月29日
我是一个爬虫
码农翻身
12+阅读 · 2018年6月4日
设计和实现一款轻量级的爬虫框架
架构文摘
13+阅读 · 2018年1月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员