Recent advancements in Large Language Models (LLMs) offer new opportunities to create natural language interfaces for Autonomous Driving Systems (ADSs), moving beyond rigid inputs. This paper addresses the challenge of mapping the complexity of human language to the structured action space of modular ADS software. We propose a framework that integrates an LLM-based interaction layer with Autoware, a widely used open-source software. This system enables passengers to issue high-level commands, from querying status information to modifying driving behavior. Our methodology is grounded in three key components: a taxonomization of interaction categories, an application-centric Domain Specific Language (DSL) for command translation, and a safety-preserving validation layer. A two-stage LLM architecture ensures high transparency by providing feedback based on the definitive execution status. Evaluation confirms the system's timing efficiency and translation robustness. Simulation successfully validated command execution across all five interaction categories. This work provides a foundation for extensible, DSL-assisted interaction in modular and safety-conscious autonomy stacks.


翻译:大型语言模型(LLM)的最新进展为自动驾驶系统(ADS)创建自然语言界面提供了新机遇,超越了传统刚性输入方式。本文致力于解决将复杂的人类语言映射至模块化ADS软件结构化动作空间的挑战。我们提出了一种将基于LLM的交互层与广泛使用的开源软件Autoware相集成的框架。该系统允许乘客发出高级指令,涵盖从状态信息查询到驾驶行为修改等多种功能。我们的方法基于三个关键组成部分:交互类别的分类体系、面向应用的领域特定语言(DSL)指令转换机制,以及保障安全的验证层。采用双阶段LLM架构,通过基于确定执行状态的反馈机制确保高度透明性。评估结果证实了系统的时间效率和转换鲁棒性。仿真实验成功验证了全部五类交互场景下的指令执行能力。本研究为模块化且注重安全的自主系统中可扩展的DSL辅助交互奠定了理论基础。

0
下载
关闭预览

相关内容

【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
[IEEE TPAMI 2024] 将CLIP模型转换为端到端文本识别器
专知会员服务
22+阅读 · 2024年4月12日
TensorFlow 2.0深度强化学习指南
云栖社区
18+阅读 · 2019年2月1日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员