Procedural generation techniques in 3D rendering engines have revolutionized the creation of complex environments, reducing reliance on manual design. Recent approaches using Large Language Models (LLMs) for 3D scene generation show promise but often lack domain-specific reasoning, verification mechanisms, and modular design. These limitations lead to reduced control and poor scalability. This paper investigates the use of LLMs to generate agricultural synthetic simulation environments from natural language prompts, specifically to address the limitations of lacking domain-specific reasoning, verification mechanisms, and modular design. A modular multi-LLM pipeline was developed, integrating 3D asset retrieval, domain knowledge injection, and code generation for the Unreal rendering engine using its API. This results in a 3D environment with realistic planting layouts and environmental context, all based on the input prompt and the domain knowledge. To enhance accuracy and scalability, the system employs a hybrid strategy combining LLM optimization techniques such as few-shot prompting, Retrieval-Augmented Generation (RAG), finetuning, and validation. Unlike monolithic models, the modular architecture enables structured data handling, intermediate verification, and flexible expansion. The system was evaluated using structured prompts and semantic accuracy metrics. A user study assessed realism and familiarity against real-world images, while an expert comparison demonstrated significant time savings over manual scene design. The results confirm the effectiveness of multi-LLM pipelines in automating domain-specific 3D scene generation with improved reliability and precision. Future work will explore expanding the asset hierarchy, incorporating real-time generation, and adapting the pipeline to other simulation domains beyond agriculture.


翻译:三维渲染引擎中的程序化生成技术已彻底改变了复杂环境的创建方式,降低了对手工设计的依赖。近期利用大语言模型(LLM)进行三维场景生成的方法展现出潜力,但通常缺乏领域特定推理、验证机制和模块化设计。这些限制导致可控性降低和可扩展性不足。本文研究利用LLM从自然语言提示生成农业合成仿真环境,特别针对缺乏领域特定推理、验证机制和模块化设计的局限性。我们开发了一种模块化多LLM流水线,通过Unreal渲染引擎的API集成三维资产检索、领域知识注入和代码生成功能。该系统能够基于输入提示和领域知识,生成具有真实种植布局和环境背景的三维场景。为提高准确性和可扩展性,系统采用混合策略,结合了少样本提示、检索增强生成(RAG)、微调和验证等LLM优化技术。与单体模型不同,模块化架构支持结构化数据处理、中间验证和灵活扩展。系统通过结构化提示和语义准确性指标进行评估。用户研究评估了生成场景相对于真实世界图像的逼真度和熟悉度,专家对比实验则证明其相比手工场景设计可显著节省时间。结果证实了多LLM流水线在自动化领域特定三维场景生成方面的有效性,且具有更高的可靠性和精度。未来工作将探索扩展资产层级结构、集成实时生成功能,并将该流水线适配至农业以外的其他仿真领域。

0
下载
关闭预览

相关内容

LLMOps:大语言模型的生产环境管理
专知会员服务
37+阅读 · 2025年7月24日
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
27+阅读 · 2025年6月15日
三维场景生成:综述
专知会员服务
21+阅读 · 2025年5月9日
利用多个大型语言模型:关于LLM集成的调研
专知会员服务
35+阅读 · 2025年2月27日
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
《LLMs遇见多模态生成与编辑》综述
专知会员服务
41+阅读 · 2024年6月3日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
LLMOps:大语言模型的生产环境管理
专知会员服务
37+阅读 · 2025年7月24日
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
27+阅读 · 2025年6月15日
三维场景生成:综述
专知会员服务
21+阅读 · 2025年5月9日
利用多个大型语言模型:关于LLM集成的调研
专知会员服务
35+阅读 · 2025年2月27日
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
《LLMs遇见多模态生成与编辑》综述
专知会员服务
41+阅读 · 2024年6月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员