Recent advancements in prosthetic technology have increasingly focused on enhancing dexterity and autonomy through intelligent control systems. Vision-based approaches offer promising results for enabling prosthetic hands to interact more naturally with diverse objects in dynamic environments. Building on this foundation, the paper presents a vision-guided grasping algorithm for a prosthetic hand, integrating perception, planning, and control for dexterous manipulation. A camera mounted on the set up captures the scene, and a Bounding Volume Hierarchy (BVH)-based vision algorithm is employed to segment an object for grasping and define its bounding box. Grasp contact points are then computed by generating candidate trajectories using Rapidly-exploring Random Tree Star algorithm, and selecting fingertip end poses based on the minimum Euclidean distance between these trajectories and the objects point cloud. Each finger grasp pose is determined independently, enabling adaptive, object-specific configurations. Damped Least Square (DLS) based Inverse kinematics solver is used to compute the corresponding joint angles, which are subsequently transmitted to the finger actuators for execution. This modular pipeline enables per-finger grasp planning and supports real-time adaptability in unstructured environments. The proposed method is validated in simulation, and experimental integration on a Linker Hand O7 platform.


翻译:近期假肢技术的进展日益聚焦于通过智能控制系统提升灵巧性与自主性。基于视觉的方法为假肢手在动态环境中与多样物体进行更自然的交互提供了有前景的成果。在此基础上,本文提出一种用于假肢手的视觉引导抓取算法,整合感知、规划与控制以实现灵巧操作。安装在装置上的摄像头捕获场景,并采用基于包围体层次结构的视觉算法分割待抓取物体并定义其边界框。随后通过快速探索随机树星算法生成候选轨迹,并基于这些轨迹与物体点云之间的最小欧几里得距离选择指尖末端位姿,从而计算抓取接触点。每个手指的抓取位姿独立确定,支持自适应的、针对特定物体的构型。基于阻尼最小二乘法的逆运动学求解器用于计算相应的关节角度,随后传输至手指执行器进行动作执行。该模块化流程实现了逐手指抓取规划,并支持在非结构化环境中的实时适应性。所提方法在仿真中进行了验证,并在Linker Hand O7平台上进行了实验集成。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
DL | 语义分割综述
机器学习算法与Python学习
58+阅读 · 2019年3月13日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
181+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员