While large language models (LLMs) have accelerated 2D software development through intent-driven "vibe coding", prototyping intelligent Extended Reality (XR) experiences remains a major challenge. The fundamental barrier is not just the steep learning curve for human creators, but that low-level sensor APIs and complex game engine hierarchies are ill-suited for LLM reasoning, routinely exceeding context windows and inducing syntax hallucinations. To bridge this gap, we contribute XR Blocks, an open-source, LLM-native WebXR framework. Unlike traditional engines, XR Blocks introduces a semantic "Reality Model" that aligns spatial computing primitives (users, physical environments, and agents) with natural language, providing a robust, concise vocabulary optimized for generative AI. Building upon this foundation, we present Vibe Coding XR, an end-to-end prototyping workflow that leverages LLMs to translate high-level prompts (e.g., "create a dandelion that reacts to my hand") directly into functional, physics-aware mixed-reality applications. To minimize the friction of on-device testing, the workflow introduces a seamless desktop "simulated reality" to headset deployment loop. Finally, we introduce VCXR60, a pilot dataset of 60 XR prompts paired with an automated evaluation pipeline. Our technical evaluation demonstrates high one-shot execution success, enabling practitioners to bypass lowlevel hurdles and rapidly move from "idea to reality". Code and live demos are available at https://github.com/google/xrblocks and http://xrblocks.github.io/gem.


翻译:摘要:尽管大型语言模型(LLM)通过基于意图的“氛围式编程”加速了二维软件开发,但面向智能扩展现实(XR)体验的原型开发仍面临重大挑战。根本障碍不仅在于人类创作者陡峭的学习曲线,更在于低层级传感器接口与复杂游戏引擎层次结构难以适配LLM推理,常常超出上下文窗口并引发语法幻觉。为弥合这一鸿沟,我们提出了XR Blocks——一个开源、原生适配LLM的WebXR框架。与传统引擎不同,XR Blocks引入了一个语义化的“现实模型”,将空间计算基元(用户、物理环境及智能体)与自然语言对齐,为生成式人工智能提供了稳健且简洁的优化词汇表。在此基础上,我们构建了Vibe Coding XR——一个端到端的原型开发工作流,利用LLM将高级提示(例如“生成一朵响应我手势的蒲公英”)直接转化为具备物理感知的混合现实应用。为减少设备端测试的摩擦,该工作流引入了从桌面端“模拟现实”到头戴设备的无缝部署循环。最后,我们推出了VCXR60数据集(包含60个XR提示的试点数据集),并配以自动化评估流水线。技术评估表明,该方法在单次执行中具有高成功率,使开发者能够绕过低层级障碍,快速实现“从创意到现实”的转化。代码与在线演示参见:https://github.com/google/xrblocks 及 http://xrblocks.github.io/gem。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
利用 Gemini 加速科学研究:案例研究与常用技术
专知会员服务
17+阅读 · 3月25日
OpenAI 32页《智能体》指南,如何构建首个智能体系统
专知会员服务
50+阅读 · 2025年4月18日
最全面《DeepSeek R1》技术文章
专知会员服务
90+阅读 · 2025年1月29日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员