Multi-pair robotic assembly in unstructured environments faces spatial interference and contact uncertainties. Existing paradigms fail to bridge cognitive decision-making and physical execution, as they either encounter state-space explosion and knowledge bottlenecks or suffer from logical hallucinations and topological conflicts. We propose an end-to-end neuro-symbolic framework that solves the challenge hierarchically: generating optimal subgraphs for each pair, decoupling generality from edge cases, and then resolving cross-pair interferences. Given an eye-on-hand RGB-D assembly scene, the framework extracts semantic instance identity and state while quantifying the scene for divergence calculation. For each pair, optimal subgraph is generated via LLM using barely basic actions to mitigate hallucinations. Supportive actions for edge cases are reasoned and inserted with a lightweight discriminator. Driven by the divergence between the quantified baseline and current scene, it is easily extensible at low cost. Augmented subgraphs are topologically coordinated into global sequences while preserving internal behavioral coherence. Dynamic behavior trees embedding atomic skills close the force-aware execution loop. Offline evaluation on 100 real-world scenes achieves 97.00% global executability, outperforming classical and state-of-the-art planners. Real-robot deployment on a UR3 arm attains 90% success rate with 0.5 mm tolerance under strong interference, demonstrating a unified and verifiable solution for complex autonomous assembly.


翻译:非结构化环境中的多对机器人装配面临空间干扰和接触不确定性。现有范式无法弥合认知决策与物理执行之间的鸿沟,要么遭遇状态空间爆炸和知识瓶颈,要么产生逻辑幻觉和拓扑冲突。本文提出一种端到端的神经符号框架,通过分层方式解决这一挑战:为每一对组件生成最优子图,将通用性从边缘情况中解耦,进而解决跨对干扰问题。给定一个眼在手上的RGB-D装配场景,该框架在提取语义实例身份和状态的同时,对场景进行量化以计算散度。针对每一对组件,利用大语言模型(LLM)通过仅使用基础动作生成最优子图,从而缓解幻觉问题。针对边缘用例的支持性动作通过轻量级判别器进行推理和插入。在量化基线与当前场景之间的散度驱动下,该框架能以低成本轻松扩展。增强后的子图在保持内部行为一致性的前提下,通过拓扑协调整合为全局序列。融合原子技能的动态行为树闭环实现力感知执行。在100个真实场景上的离线评估实现了97.00%的全局可执行性,优于经典和最先进的规划器。在UR3机械臂上的实物部署在强干扰下实现了90%的成功率和0.5毫米的容差,为复杂自主装配展示了统一且可验证的解决方案。

0
下载
关闭预览

相关内容

机器人领域的多任务泛化研究
专知会员服务
16+阅读 · 1月14日
《拥挤与受限环境下机器人集群协同控制》150页
专知会员服务
23+阅读 · 2025年5月4日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
17+阅读 · 2023年7月4日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员