Flexible robotic automation requires systems that interpret operator intent, verify physical feasibility, and recover from execution failures across both the planning and execution stages. This paper proposes an agentic neuro-symbolic framework for human-in-the-loop industrial robotics, in which LLMs are used for tasks that require language understanding or contextual reasoning, while all verification, sequencing, and execution remain deterministic. The framework adapts the Planner-Generator-Evaluator (PGE) harness pattern from software engineering into a Specifier-Designer-Inspector (SDI) architecture for industrial robotics, combined with LangGraph-based dynamic routing for failure recovery. A two-tier recovery mechanism addresses structure-level replanning through context-aware orchestration and execution-level geometric failures through deterministic recovery skills. A Unity3D digital twin supports human inspection, modification, and re-verification prior to physical execution. Evaluated on natural-language commands across multiple difficulty levels against ten baselines, the proposed method achieves the highest task success. Ablation results confirm that structured command expansion, symbolic verification, selective LLM routing, and recovery skills are each individually necessary.


翻译:灵活机器人自动化需要系统在规划与执行阶段均能解读操作员意图、验证物理可行性,并从执行故障中恢复。本文提出一种面向人机协同工业机器人的智能神经符号框架,其中大语言模型(LLM)用于需要语言理解或语境推理的任务,而所有验证、排序与执行仍保持确定性。该框架将软件工程中的规划器-生成器-评估器(PGE)约束模式转化为适用于工业机器人的规范器-设计器-检查器(SDI)架构,并结合基于LangGraph的动态路由实现故障恢复。一种双层恢复机制通过上下文感知编排处理结构级重新规划,通过确定性恢复技能处理执行级几何故障。Unity3D数字孪生支持物理执行前的人类检查、修改与重新验证。在多个难度级别的自然语言指令上对十种基线方法进行评估,所提方法实现了最高任务成功率。消融实验结果表明,结构化指令扩展、符号验证、选择性LLM路由与恢复技能各自均为不可或缺的组成部分。

0
下载
关闭预览

相关内容

智能体技能综合综述:分类、技术与应用
专知会员服务
33+阅读 · 5月11日
基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
大型语言模型与智能机器人集成的综述
专知会员服务
71+阅读 · 2024年4月22日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员