Agentic AI systems act autonomously, use tools, adapt to context, and operate in complex real-world environments. However, these same characteristics can create or exacerbate product risks. We studied how industry developers (n=35) perceive, prioritize, and address the risks in their agentic AI products. We found that developers' perceptions of risk were closely tied to the qualities that made the product agentic, such as autonomy, tool use, and usage in a real-world context. Developers prioritized product and business risks before considering downstream societal risks like job displacement and end-user privacy. This prioritization also impacted developers' ability and motivation to mitigate agentic risks. Finally, developers lacked mature controls for containing agentic risks, often relying on constraining the same characteristics that make agents useful: e.g., autonomy and goal complexity. These findings reveal a capability vs. risk control tension in agentic AI development: developers need to address risks that emerge from agentic capabilities, yet they currently have limited support for doing so without constraining agentic functionality.


翻译:智能体AI系统能够自主行动、使用工具、适应环境并运行于复杂的现实场景中。然而,这些特性也可能催生或加剧产品风险。我们通过研究35位产业界开发者如何感知、权衡与应对其智能体AI产品中的风险发现:开发者对风险的认知与其产品具备的自主性、工具使用、现实场景应用等智能体特性紧密相关;开发者优先考虑产品与商业风险,而后才关注岗位替代、终端用户隐私等下游社会性风险——这种优先级排序也影响了开发者缓解智能体风险的能力与动机。此外,开发者缺乏成熟的智能体风险管控手段,往往通过限制智能体核心特性(如自主性、目标复杂度)的方式来控制风险。这些发现揭示了智能体AI开发中的能力-风险控制张力:开发者亟需应对智能体能力引发的风险,但当前缺乏在不削弱智能体功能的前提下有效管控风险的支持手段。

0
下载
关闭预览

相关内容

用来满足人们需求和欲望的物体或无形的载体。好的产品大家都喜欢
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
40+阅读 · 2025年12月31日
智能体安全综述:应用、威胁与防御
专知会员服务
46+阅读 · 2025年10月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
50+阅读 · 2025年8月18日
《高级AI带来的多智能体风险》最新97页干活技术报告
专知会员服务
47+阅读 · 2025年3月4日
先进人工智能的多智能体风险
专知会员服务
29+阅读 · 2025年2月22日
国家标准《人工智能风险管理能力评估》(征求意见稿)
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
54+阅读 · 2024年6月7日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
《异构无人水面艇集群作战自主制导算法》130页
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
40+阅读 · 2025年12月31日
智能体安全综述:应用、威胁与防御
专知会员服务
46+阅读 · 2025年10月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
50+阅读 · 2025年8月18日
《高级AI带来的多智能体风险》最新97页干活技术报告
专知会员服务
47+阅读 · 2025年3月4日
先进人工智能的多智能体风险
专知会员服务
29+阅读 · 2025年2月22日
国家标准《人工智能风险管理能力评估》(征求意见稿)
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
54+阅读 · 2024年6月7日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员