Recent advances in the development of robotic foundation models have led to promising end-to-end and general-purpose capabilities in robotic systems. Trained on vast datasets of simulated and real-world trajectories, these policies map multimodal observations directly to action sequences for physical execution. Despite promising real-world capabilities, these models are still data-driven and, therefore, lack explicit notions of behavioral correctness. We address this gap by introducing SafeDec, a constrained decoding framework for autoregressive, transformer-based robot navigation foundation models that enforces safety specifications expressed as Signal Temporal Logic (STL) formulas. Our method ensures that generated actions provably satisfy STL specifications under assumed dynamics at runtime without retraining while remaining agnostic of the underlying policy. We evaluate SafeDec on tasks from the CHORES benchmark for state-of-the-art embodied navigation policies across hundreds of procedurally generated environments and show that our decoding-time interventions are useful not only for filtering unsafe actions but also for conditional action generation. Videos are available at constrained-robot-fms.github.io


翻译:近期机器人基础模型的发展使机器人系统具备了令人瞩目的端到端通用能力。这些策略通过海量仿真与现实世界轨迹数据集训练,能够将多模态观测结果直接映射为物理执行的动作序列。尽管展现出强大的现实世界应用潜力,但这些模型仍为数据驱动型,缺乏对行为正确性的显式概念。为弥补这一缺陷,我们提出SafeDec——面向自回归、基于Transformer的机器人导航基础模型的约束解码框架,该框架能够实施以信号时序逻辑(STL)公式表达的安全规范。该方法可在运行时确保生成动作在假设动力学条件下可证明地满足STL规范,无需重新训练且与底层策略无关。我们在CHORES基准测试的系列任务上评估SafeDec,覆盖数百个程序化生成环境中的最先进具身导航策略,结果表明我们的解码时干预不仅可用于过滤不安全动作,还能进行条件性动作生成。视频资料见constrained-robot-fms.github.io

0
下载
关闭预览

相关内容

基础模型驱动的机器人技术:全面综述
专知会员服务
30+阅读 · 2025年7月15日
《基础模型在现实世界机器人应用》综述
专知会员服务
56+阅读 · 2024年2月11日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
面向机器学习模型安全的测试与修复
专知会员服务
54+阅读 · 2023年2月5日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员