Metaverse devices, such as virtual reality (VR), have seen substantial development and widespread applications in numerous areas. Although recent studies have revealed privacy leakages in VR, these vulnerabilities were limited in the scope of observable behaviors in virtual scenes (e.g., what a user is seeing). In this work, we uncover the feasibility of going beyond the scope of observable user behaviors to unobservable brain EEG-correlated representations (e.g., what a user is perceiving) by leveraging unrestricted motion sensors in VR headsets to reconstruct brain EEG signals, a seemingly neglected but promising vector. The insight is that the inbuilt motion sensors (e.g., accelerometers) in the VR headset can capture subtle vibrations induced by pupillary responses, which are highly correlated with users' visual stimuli and in-brain perceptions. Therefore, we design and implement BraVeSpy to systematically investigate and demonstrate the feasibility of this severe privacy leakage originating from brain EEG-correlated representations reconstructed from variations of inbuilt motion sensors. Our extensive evaluation results from different VR devices show that BraVeSpy, for the first time in the Metaverse, can reveal unobservable privacy, where we successfully unveiled perceptive images in the brain with 52.0%-67.2% accuracy. In particular, we also find that BraVeSpy outperforms the current approaches that are limited to coarse-grained inference of observable behaviors and achieves over 85.0% accuracy in inferring user activity-related sensitive information, such as fingerprinting websites, apps, and streaming videos, and over 96.0% accuracy in user de-anonymization, gaze movement tracking, and virtual keystroke inference.


翻译:元宇宙设备(如虚拟现实VR)在众多领域经历了实质性发展并得到广泛应用。尽管近期研究揭示了VR中的隐私泄露问题,但这些脆弱性仅限于虚拟场景中可观察行为的范畴(例如用户正在观看的内容)。在本工作中,我们揭示了突破用户可观察行为范畴的可能性——通过利用VR头显中无限制的运动传感器重建脑电信号,从而实现不可观察的脑电图关联表征(例如用户正在感知的内容),这是一条看似被忽视但极具前景的路径。其核心洞察在于:VR头显内置的运动传感器(如加速度计)能够捕捉由瞳孔反应引发的细微振动,而这种振动与用户的视觉刺激及脑内感知高度相关。为此,我们设计并实现了BraVeSpy系统,以系统性地研究并论证源自内置运动传感器变化重建的脑电图关联表征所引发的严重隐私泄露的可行性。基于不同VR设备的广泛评估结果表明,BraVeSpy首次在元宇宙中揭示了不可观察的隐私,我们成功以52.0%-67.2%的准确率重建了大脑中的感知图像。值得注意的是,我们还发现BraVeSpy优于当前局限于粗粒度可观察行为推断的方法,在推断用户活动相关敏感信息(如对网站、应用程序和流媒体视频进行指纹识别)时准确率超过85.0%,在用户去匿名化、凝视运动追踪及虚拟击键推断中准确率超过96.0%。

0
下载
关闭预览

相关内容

IEEE虚拟现实会议一直是展示虚拟现实(VR)广泛领域研究成果的主要国际场所,包括增强现实(AR),混合现实(MR)和3D用户界面中寻求高质量的原创论文。每篇论文应归类为主要涵盖研究,应用程序或系统,并使用以下准则进行分类:研究论文应描述有助于先进软件,硬件,算法,交互或人为因素发展的结果。应用论文应解释作者如何基于现有思想并将其应用到以新颖的方式解决有趣的问题。每篇论文都应包括对给定应用领域中VR/AR/MR使用成功的评估。 官网地址:http://dblp.uni-trier.de/db/conf/vr/
《元宇宙在军事领域的应用》
专知会员服务
29+阅读 · 2025年11月4日
元宇宙技术发展与应用综述
专知会员服务
24+阅读 · 2025年1月25日
工业元宇宙白皮书, 34页pdf
专知
83+阅读 · 2023年4月13日
中国学者14篇国际顶会IEEE VR 2020论文集锦
中国图象图形学报
24+阅读 · 2020年4月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
0+阅读 · 21分钟前
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
相关VIP内容
《元宇宙在军事领域的应用》
专知会员服务
29+阅读 · 2025年11月4日
元宇宙技术发展与应用综述
专知会员服务
24+阅读 · 2025年1月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员