As virtual 3D environments become more prevalent, equitable access is essential for blind and low-vision (BLV) users, who face challenges with spatial awareness, navigation, and interaction. Prior work has explored supplementing visual information with auditory or haptic modalities, but these methods are static and offer limited support for dynamic, in-context adaptation. Recent advances in generative AI allow users to query and modify 3D scenes via natural language, introducing a paradigm that offers greater flexibility and control for accessibility. We present RAVEN, a system that enables BLV users to issue queries and modification prompts to improve the runtime accessibility of 3D virtual scenes. We evaluated RAVEN with eight BLV people and six Unity developers, generating empirical insights into how conversational programming can support personalized accessibility in 3D environments. Our work highlights both the promise of natural language interaction-intuitive, flexible, and empowering-and the challenges of ensuring reliability, transparency, and trust in generative AI-driven accessibility systems.


翻译:随着虚拟三维环境日益普及,保障盲人与低视力(BLV)用户的平等访问权至关重要,这些用户在空间感知、导航与交互方面面临诸多挑战。现有研究探索了通过听觉或触觉模态补充视觉信息的方法,但这些方法多为静态设计,对动态情境化适应的支持有限。生成式人工智能的最新进展允许用户通过自然语言查询与修改三维场景,这一范式为可访问性提供了更强的灵活性与可控性。本文提出RAVEN系统,使BLV用户能够通过查询与修改指令提升三维虚拟场景的运行时可访问性。我们邀请八名BLV人士与六名Unity开发者对RAVEN进行评估,通过实证研究揭示了对话式编程如何支持三维环境中的个性化可访问性。本研究既彰显了自然语言交互的潜力——其直观性、灵活性与赋能特性,也揭示了在生成式AI驱动的可访问性系统中确保可靠性、透明度与可信度所面临的挑战。

0
下载
关闭预览

相关内容

《用人工智能模拟视觉世界:路线图》
专知会员服务
19+阅读 · 2025年11月12日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
VizWiz数据集:用计算机视觉回答盲人的问题
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《用人工智能模拟视觉世界:路线图》
专知会员服务
19+阅读 · 2025年11月12日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
相关资讯
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
VizWiz数据集:用计算机视觉回答盲人的问题
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员