Humanoid robots must adapt their contact behavior to diverse objects and tasks, yet most controllers rely on fixed, hand-tuned impedance gains and gripper settings. This paper introduces HumanoidVLM, a vision-language driven retrieval framework that enables the Unitree G1 humanoid to select task-appropriate Cartesian impedance parameters and gripper configurations directly from an egocentric RGB image. The system couples a vision-language model for semantic task inference with a FAISS-based Retrieval-Augmented Generation (RAG) module that retrieves experimentally validated stiffness-damping pairs and object-specific grasp angles from two custom databases, and executes them through a task-space impedance controller for compliant manipulation. We evaluate HumanoidVLM on 14 visual scenarios and achieve a retrieval accuracy of 93%. Real-world experiments show stable interaction dynamics, with z-axis tracking errors typically within 1-3.5 cm and virtual forces consistent with task-dependent impedance settings. These results demonstrate the feasibility of linking semantic perception with retrieval-based control as an interpretable path toward adaptive humanoid manipulation.


翻译:人形机器人必须使其接触行为适应不同的物体和任务,然而大多数控制器依赖于固定、手动调整的阻抗增益和夹持器设置。本文介绍了HumanoidVLM,一个视觉-语言驱动的检索框架,它使Unitree G1人形机器人能够直接从以自我为中心的RGB图像中选择适合任务的笛卡尔阻抗参数和夹持器配置。该系统将一个用于语义任务推理的视觉-语言模型与一个基于FAISS的检索增强生成(RAG)模块相结合,该模块从两个定制数据库中检索经过实验验证的刚度-阻尼对和针对特定物体的抓取角度,并通过一个任务空间阻抗控制器执行它们,以实现顺应性操作。我们在14个视觉场景上评估了HumanoidVLM,检索准确率达到93%。真实世界实验显示出稳定的交互动力学,z轴跟踪误差通常在1-3.5厘米以内,虚拟力与任务相关的阻抗设置一致。这些结果证明了将语义感知与基于检索的控制相连接作为实现自适应人形机器人操作的可解释路径的可行性。

0
下载
关闭预览

相关内容

AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
多模态融合与视觉-语言模型:面向机器人视觉的综述
专知会员服务
35+阅读 · 2025年4月5日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人产业系列报告,67页ppt
专知会员服务
51+阅读 · 2024年1月2日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员