Current LLM-based driving agents that rely on unstructured plain-text memory suffer from low-precision scene retrieval and inefficient reflection. To address this limitation, we present RESPOND, a structured decision-making framework for LLM-driven agents grounded in explicit risk patterns. RESPOND represents each ego-centric scene using a unified 5 by 3 matrix that encodes spatial topology and road constraints, enabling consistent and reliable retrieval of spatial risk configurations. Based on this representation, a hybrid rule and LLM decision pipeline is developed with a two-tier memory mechanism. In high-risk contexts, exact pattern matching enables rapid and safe reuse of verified actions, while in low-risk contexts, sub-pattern matching supports personalized driving style adaptation. In addition, a pattern-aware reflection mechanism abstracts tactical corrections from crash and near-miss frames to update structured memory, achieving one-crash-to-generalize learning. Extensive experiments demonstrate the effectiveness of RESPOND. In highway-env, RESPOND outperforms state-of-the-art LLM-based and reinforcement learning based driving agents while producing substantially fewer collisions. With step-wise human feedback, the agent acquires a Sporty driving style within approximately 20 decision steps through sub-pattern abstraction. For real-world validation, RESPOND is evaluated on 53 high-risk cut-in scenarios extracted from the HighD dataset. For each event, intervention is applied immediately before the cut-in and RESPOND re-decides the driving action. Compared to recorded human behavior, RESPOND reduces subsequent risk in 84.9 percent of scenarios, demonstrating its practical feasibility under real-world driving conditions. These results highlight RESPONDs potential for autonomous driving, personalized driving assistance, and proactive hazard mitigation.


翻译:当前依赖非结构化纯文本记忆的LLM驾驶智能体存在场景检索精度低与反思效率不足的问题。为克服这一局限,本文提出RESPOND——一种基于显式风险模式的LLM驱动智能体结构化决策框架。RESPOND采用统一的5×3矩阵表示每个以自车为中心的驾驶场景,该矩阵编码空间拓扑与道路约束,实现了空间风险配置的一致可靠检索。基于此表征,我们构建了融合规则与LLM的双层记忆决策流程:在高风险情境中,精确模式匹配支持已验证安全行为的快速复用;在低风险情境中,子模式匹配则支持个性化驾驶风格适配。此外,框架引入模式感知反思机制,从碰撞与险情帧中抽象战术修正以更新结构化记忆,实现“一次碰撞,泛化学习”的效果。大量实验验证了RESPOND的有效性:在highway-env环境中,RESPOND在显著降低碰撞次数的同时,性能优于当前最先进的基于LLM与强化学习的驾驶智能体;通过逐步人类反馈,智能体能在约20个决策步内通过子模式抽象习得Sporty驾驶风格。为进行真实世界验证,我们从HighD数据集中提取53个高风险切入场景进行评估:在每个切入事件发生前立即施加干预,由RESPOND重新决策驾驶行为。与记录的人类驾驶行为相比,RESPOND在84.9%的场景中降低了后续风险,证明了其在真实驾驶条件下的实用可行性。这些结果凸显了RESPOND在自动驾驶、个性化驾驶辅助及主动风险缓解领域的应用潜力。

0
下载
关闭预览

相关内容

 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
48+阅读 · 2023年4月16日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
相关资讯
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员