Large language models (LLMs) demonstrate strong generative capabilities but remain vulnerable to hallucination and unreliable reasoning under adversarial prompting. Existing safety approaches -- such as reinforcement learning from human feedback (RLHF) and output filtering -- primarily operate at the behavioral level and may lack explicit architectural mechanisms for enforcing reasoning process integrity. This paper proposes the Box Maze framework, a conceptual process-control architecture that decomposes LLM reasoning into three explicit layers: memory grounding, structured inference, and boundary enforcement. We introduce preliminary simulation-based evaluation involving progressive boundary erosion scenarios across multiple heterogeneous LLM systems (DeepSeek-V3, Doubao, Qwen). Results from n=50 adversarial scenarios suggest that explicit cognitive control layers may improve consistency in boundary maintenance, with architectural constraints reducing boundary failure rates from approximately 40% (baseline RLHF) to below 1% under adversarial conditions. While current validation is simulation-based, these preliminary results indicate that process-level control may offer a promising direction for improving reliability in large language model reasoning.


翻译:大型语言模型展现出强大的生成能力,但在对抗性提示下仍易出现幻觉和不可靠推理。现有安全方法——如基于人类反馈的强化学习(RLHF)和输出过滤——主要作用于行为层面,可能缺乏强制执行推理过程完整性的显式架构机制。本文提出盒状迷宫框架,这是一种概念性过程控制架构,将LLM推理分解为三个显式层级:记忆基础化、结构化推理和边界强制。我们引入初步的基于模拟的评估,涉及跨多个异构LLM系统(DeepSeek-V3、Doubao、Qwen)的渐进式边界侵蚀场景。来自n=50个对抗性场景的结果表明,显式认知控制层可能改善边界维护的一致性,架构约束使对抗条件下的边界失效概率从约40%(基线RLHF)降至1%以下。尽管当前验证基于模拟,这些初步结果表明过程级控制可能为提升大型语言模型推理可靠性提供有前景的方向。

0
下载
关闭预览

相关内容

【CMU博士论文】面向目标的自主智能体推理
专知会员服务
27+阅读 · 2025年9月11日
LlamaV-o1: 重新思考大语言模型中的逐步视觉推理
专知会员服务
17+阅读 · 2025年1月14日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【泡泡图灵智库】密集相关的自监督视觉描述学习(RAL)
泡泡机器人SLAM
11+阅读 · 2018年10月6日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关主题
最新内容
论文 | OmniScientist:全模态全学科AI科学家
专知会员服务
4+阅读 · 8月16日
无人机已改变战场,但并未解决指挥问题
专知会员服务
8+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
12+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员