The integration of foundation models (FMs) into robotics has accelerated real-world deployment, while introducing new safety challenges arising from open-ended semantic reasoning and embodied physical action. These challenges require safety notions beyond physical constraint satisfaction. In this paper, we characterize FM-enabled robot safety along three dimensions: action safety (physical feasibility and constraint compliance), decision safety (semantic and contextual appropriateness), and human-centered safety (conformance to human intent, norms, and expectations). We argue that existing approaches, including static verification, monolithic controllers, and end-to-end learned policies, are insufficient in settings where tasks, environments, and human expectations are open-ended, long-tailed, and subject to adaptation over time. To address this gap, we propose modular safety guardrails, consisting of monitoring (evaluation) and intervention layers, as an architectural foundation for comprehensive safety across the autonomy stack. Beyond modularity, we highlight possible cross-layer co-design opportunities through representation alignment and conservatism allocation to enable faster, less conservative, and more effective safety enforcement. We call on the community to explore richer guardrail modules and principled co-design strategies to advance safe real-world physical AI deployment.


翻译:将基础模型(FMs)集成到机器人学中加速了其在现实世界的部署,同时也带来了由开放式语义推理和具身物理行为所引发的新安全挑战。这些挑战要求的安全概念超越了物理约束满足的范畴。本文中,我们从三个维度刻画基于基础模型的机器人安全:行为安全(物理可行性与约束合规性)、决策安全(语义与情境适当性)以及以人为中心的安全(符合人类意图、规范与期望)。我们认为,在任务、环境及人类期望具有开放性、长尾性并随时间动态适应的场景下,现有方法——包括静态验证、单体控制器和端到端学习策略——均存在不足。为弥补这一差距,我们提出模块化安全护栏,其由监控(评估)层与干预层构成,作为在整个自主栈中实现全面安全的架构基础。除了模块化,我们强调了通过表征对齐和保守性分配实现跨层协同设计的可能性,以实现更快速、更少保守且更有效的安全执行。我们呼吁学界探索更丰富的护栏模块和原则性的协同设计策略,以推动安全的现实世界物理人工智能部署。

0
下载
关闭预览

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
基础模型驱动的机器人技术:全面综述
专知会员服务
30+阅读 · 2025年7月15日
【博士论文】面向未知感知的机器学习基础
专知会员服务
17+阅读 · 2025年5月22日
针对自动驾驶智能模型的攻击与防御
专知会员服务
19+阅读 · 2024年6月25日
多视角看大模型安全及实践
专知会员服务
69+阅读 · 2024年4月1日
《基础模型在现实世界机器人应用》综述
专知会员服务
56+阅读 · 2024年2月11日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
16+阅读 · 2023年7月4日
机器学习必备的数学基础有哪些?
人工智能头条
12+阅读 · 2019年10月18日
基于虚拟现实环境的深度学习模型构建
MOOC
24+阅读 · 2019年9月28日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基础模型驱动的机器人技术:全面综述
专知会员服务
30+阅读 · 2025年7月15日
【博士论文】面向未知感知的机器学习基础
专知会员服务
17+阅读 · 2025年5月22日
针对自动驾驶智能模型的攻击与防御
专知会员服务
19+阅读 · 2024年6月25日
多视角看大模型安全及实践
专知会员服务
69+阅读 · 2024年4月1日
《基础模型在现实世界机器人应用》综述
专知会员服务
56+阅读 · 2024年2月11日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
16+阅读 · 2023年7月4日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员