Mixed Reality (MR) aims to blend digital and physical worlds, but the absence of haptic feedback often breaks visual-tactile consistency. We introduce Prop-Chromeleon, a MR system based on generative artificial intelligence (AI) that dynamically transforms everyday objects into adaptive passive haptic props through user-provided text prompts. Our AI pipeline performs generation and anchoring of virtual assets that align with the shape of physical props, allowing us to study how virtual content generation behaves under geometric and prompt-based constraints. We evaluate Prop-Chromeleon's effectiveness through a generation study using varied object shapes and user prompts, combining quantitative shape similarity metrics with qualitative prompt fidelity analysis. Our user study further showcases Prop-Chromeleon's improvements in perceived realism, immersion, and enjoyment compared to static baselines. These results show that shape-aware generation can support both believable haptic interaction and creative engagement in MR.


翻译:混合现实(MR)旨在融合数字与物理世界,但触觉反馈的缺失常破坏视觉-触觉一致性。我们提出Prop-Chromeleon——一种基于生成式人工智能(AI)的MR系统,可通过用户文本提示将日常物品动态转换为适应性被动触觉道具。我们的AI流水线实现了与物理道具形状匹配的虚拟资产生成与锚定,从而研究虚拟内容生成在几何形状与提示约束下的行为表现。通过采用不同物体形状与用户提示的生成研究,结合定量形状相似性指标与定性提示保真度分析,我们评估了Prop-Chromeleon的有效性。用户研究进一步表明,相比静态基线方法,Prop-Chromeleon在感知真实感、沉浸感与愉悦度方面均有提升。这些结果表明,形状感知生成能够支撑MR中可信的触觉交互与创造性参与。

0
下载
关闭预览

相关内容

生成式增强现实:范式、技术与未来应用
专知会员服务
30+阅读 · 2025年11月30日
视觉中的生成物理人工智能:综述
专知会员服务
39+阅读 · 2025年1月26日
【CVPR2024】PHYSCENE:为体现智能合成的可交互三维场景
专知会员服务
19+阅读 · 2024年4月19日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
美空军新型反无人机部队初探
专知会员服务
1+阅读 · 23分钟前
《防空交战流程的概率建模研究》
专知会员服务
1+阅读 · 今天5:04
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
4+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
7+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员