Conventional robot social behavior generation has been limited in flexibility and autonomy, relying on predefined motions or human feedback. This study proposes CRISP (Critique-and-Replan for Interactive Social Presence), an autonomous framework where a robot critiques and replans its own actions by leveraging a Vision-Language Model (VLM) as a `human-like social critic.' CRISP integrates (1) extraction of movable joints and constraints by analyzing the robot's description file (e.g., MJCF), (2) generation of step-by-step behavior plans based on situational context, (3) generation of low-level joint control code by referencing visual information (joint range-of-motion visualizations), (4) VLM-based evaluation of social appropriateness and naturalness, including pinpointing erroneous steps, and (5) iterative refinement of behaviors through reward-based search. This approach is not tied to a specific robot API; it can generate subtly different, human-like motions on various platforms using only the robot's structure file. In a user study involving five different robot types and 20 scenarios, including mobile manipulators and humanoids, our proposed method achieved significantly higher preference and situational appropriateness ratings compared to previous methods. This research presents a general framework that minimizes human intervention while expanding the robot's autonomous interaction capabilities and cross-platform applicability. Detailed result videos and supplementary information regarding this work are available at: https://limjiyu99.github.io/inner-critic/


翻译:传统机器人的社交行为生成方式在灵活性和自主性上存在局限,通常依赖预定义动作或人类反馈。本研究提出CRISP(批判性重规划实现交互式社交存在)自主框架,使机器人能通过视觉-语言模型(VLM)作为"类人社交批评者"来批判并重新规划自身动作。CRISP整合了:(1)通过分析机器人描述文件(如MJCF)提取可动关节与约束条件;(2)基于情境上下文生成逐步行为计划;(3)参照视觉信息(关节活动范围可视化)生成底层关节控制代码;(4)基于VLM评估社交适当性与自然度(含错误步骤定位);(5)通过基于奖励的搜索迭代优化行为。该方法不依赖特定机器人API,仅需机器人结构文件即可在多种平台上生成细微差异的类人动作。在涉及五种机器人类型(含移动操作平台与类人机器人)及20个场景的用户研究中,本方法相较于既往方法获得了显著更高的偏好度与情境适配性评分。本研究提出了一个通用框架,在降低人工干预的同时扩展了机器人自主交互能力与跨平台适用性。本工作的详细结果视频与补充材料参见:https://limjiyu99.github.io/inner-critic/

0
下载
关闭预览

相关内容

《基于分类方法的自动人机对话》
专知会员服务
27+阅读 · 2023年7月18日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
17+阅读 · 2023年7月4日
《行为与认知机器人学》,241页pdf
专知会员服务
55+阅读 · 2021年4月11日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
开始报名!SMP机器人群聊比赛
哈工大SCIR
13+阅读 · 2019年6月28日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员