People living with dementia (PLWDs) face progressively declining abilities in medication management-from simple forgetfulness to complete task breakdown-yet most assistive technologies fail to adapt to these changing needs. This one-size-fits-all approach undermines autonomy, accelerates dependence, and increases caregiver burden. Occupational therapy principles emphasize matching assistance levels to individual capabilities: minimal reminders for those who merely forget, spatial guidance for those who misplace items, and comprehensive multimodal support for those requiring step-by-step instruction. However, existing robotic systems lack this adaptive, graduated response framework essential for maintaining PLWD independence. We present an adaptive multimodal robotic framework using the Pepper robot that dynamically adjusts assistance based on real-time assessment of user needs. Our system implements a hierarchical intervention model progressing from (1) simple verbal reminders, to (2) verbal + gestural cues, to (3) full multimodal guidance combining physical navigation to medication locations with step-by-step verbal and gestural instructions. Powered by LLM-driven interaction strategies and multimodal sensing, the system continuously evaluates task states to provide just-enough assistance-preserving autonomy while ensuring medication adherence. We conducted a preliminary study with healthy adults and dementia care stakeholders in a controlled lab setting, evaluating the system's usability, comprehensibility, and appropriateness of adaptive feedback mechanisms. This work contributes: (1) a theoretically grounded adaptive assistance framework translating occupational therapy principles into HRI design, (2) a multimodal robotic implementation that preserves PLWD dignity through graduated support, and (3) empirical insights into stakeholder perceptions of adaptive robotic care.


翻译:痴呆症患者(PLWDs)在药物管理方面面临着能力逐渐衰退的挑战——从简单的遗忘到完全的任务执行失败——然而,大多数辅助技术未能适应这些不断变化的需求。这种"一刀切"的方法损害了患者的自主性,加速了其依赖性,并增加了照护者的负担。职业治疗原则强调将辅助水平与个人能力相匹配:对仅存在遗忘的患者提供最小化提醒,对错放物品的患者提供空间引导,对需要分步指导的患者提供全面的多模态支持。然而,现有的机器人系统缺乏这种对维持痴呆症患者独立性至关重要的自适应、分级响应框架。我们提出了一种使用Pepper机器人的自适应多模态机器人框架,该框架基于对用户需求的实时评估动态调整辅助水平。我们的系统实现了一个分层干预模型,从(1)简单的语音提醒,逐步升级到(2)语音+手势提示,再到(3)结合前往药物存放位置的物理导航与分步语音及手势指令的完整多模态引导。该系统由LLM驱动的交互策略和多模态传感提供支持,持续评估任务状态以提供"恰到好处"的辅助——在确保用药依从性的同时,最大限度地保留患者的自主性。我们在受控实验室环境中,与健康成年人和痴呆症照护相关方进行了一项初步研究,评估了系统的可用性、可理解性以及自适应反馈机制的适宜性。本工作的贡献在于:(1)一个将职业治疗原则转化为人机交互设计的、具有理论依据的自适应辅助框架;(2)一个通过分级支持维护痴呆症患者尊严的多模态机器人实现方案;(3)关于相关方对自适应机器人照护看法的实证研究见解。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员