Equal access to digital technologies is critical for education, employment, and social participation. However, mainstream interfaces are visually oriented, creating steep learning curves and frequent obstacles for screen reader users, and limiting their independence and opportunities. Existing support is inadequate -- tutorials mainly target sighted users, while human assistance lacks real-time availability. We introduce AskEase, an on-demand AI assistant that provides step-by-step, screen reader user-friendly guidance for computer use. AskEase manages multiple sources of context to infer user intent and deliver precise, situation-specific guidance. Its seamless interaction design minimizes disruption and reduces the effort of seeking help. We demonstrated its effectiveness through representative usage scenarios and robustness tests. In a within-subjects study with 12 screen reader users, AskEase significantly improved task success while reducing perceived workload, including physical demand, effort, and frustration. These results demonstrate the potential of LLM-powered assistants to promote accessible computing and expand opportunities for users with visual impairments.


翻译:平等获取数字技术对于教育、就业和社会参与至关重要。然而,主流界面以视觉为导向,这为屏幕阅读器用户带来了陡峭的学习曲线和频繁的障碍,限制了他们的独立性和机会。现有的支持不足——教程主要面向视力正常的用户,而人工协助缺乏实时可用性。我们介绍了AskEase,一个按需提供的人工智能助手,可为计算机使用提供分步、对屏幕阅读器用户友好的引导。AskEase管理多种情境来源以推断用户意图,并提供精确、针对具体情况的指导。其无缝交互设计最大限度地减少了干扰,并降低了寻求帮助所需的努力。我们通过代表性使用场景和鲁棒性测试证明了其有效性。在一项涉及12名屏幕阅读器用户的被试内研究中,AskEase显著提高了任务成功率,同时降低了感知工作量,包括体力需求、努力程度和挫败感。这些结果表明,基于大语言模型的助手有潜力促进无障碍计算,并为视障用户拓展机会。

0
下载
关闭预览

相关内容

计算机视觉用于新冠病毒COVID-19的控制综述,25页pdf
专知会员服务
53+阅读 · 2020年4月22日
CCCF专栏 | 朱晨光:机器阅读理解:如何让计算机读懂文章
中国计算机学会
24+阅读 · 2019年2月15日
VizWiz数据集:用计算机视觉回答盲人的问题
【教程】如何使用深度学习为照片自动生成文本描述?
GAN生成式对抗网络
20+阅读 · 2017年11月19日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
相关VIP内容
计算机视觉用于新冠病毒COVID-19的控制综述,25页pdf
专知会员服务
53+阅读 · 2020年4月22日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员