This paper presents EBuddy, a voice-guided workflow orchestrator for natural human-machine collaboration in industrial environments. EBuddy targets a recurrent bottleneck in tool-intensive workflows: expert know-how is effective but difficult to scale, and execution quality degrades when procedures are reconstructed ad hoc across operators and sessions. EBuddy operationalizes expert practice as a finite state machine (FSM) driven application that provides an interpretable decision frame at runtime (current state and admissible actions), so that spoken requests are interpreted within state-grounded constraints, while the system executes and monitors the corresponding tool interactions. Through modular workflow artifacts, EBuddy coordinates heterogeneous resources, including GUI-driven software and a collaborative robot, leveraging fully voice-based interaction through automatic speech recognition and intent understanding. An industrial pilot on impeller blade inspection and repair preparation for directed energy deposition (DED), realized by human-robot collaboration, shows substantial reductions in end-to-end process duration across onboarding, 3D scanning and processing, and repair program generation, while preserving repeatability and low operator burden.


翻译:本文提出EBuddy,一种用于工业环境中自然人机协作的语音引导工作流编排器。EBuddy针对工具密集型工作流中的常见瓶颈:专家经验虽高效但难以规模化,且当操作流程在不同操作员与执行轮次间临时重构时,执行质量会下降。EBuddy将专家实践转化为有限状态机驱动的应用程序,在运行时提供可解释的决策框架(当前状态与允许操作),使语音请求能在状态约束下被理解,同时系统执行并监控相应的工具交互。通过模块化工作流组件,EBuddy协调包括图形界面驱动软件和协作机器人在内的异构资源,并利用自动语音识别与意图理解实现完全基于语音的交互。一项针对定向能量沉积工艺中叶轮叶片检测与修复准备的工业试点(通过人机协作实现)表明,该方案在入门培训、三维扫描与处理、修复程序生成等环节显著缩短了端到端流程耗时,同时保持了可重复性与低操作员负担。

0
下载
关闭预览

相关内容

八个不容错过的 GitHub Copilot 功能!
CSDN
11+阅读 · 2022年9月22日
Jiagu:中文深度学习自然语言处理工具
AINLP
90+阅读 · 2019年2月20日
Github项目推荐 | PyTorch 中文手册 (pytorch handbook)
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员