RAMPART is a compile-time memory model and pure in-RAM block registry for LLM-based agents. Context assembly is a programmable runtime operation where content is compiled from a structured registry under explicit policy for ordering, inclusion, and eviction. Five composable primitives (promote, gate, write, evict, rollback) act on named addressable blocks before compilation at zero prompt-token cost. Provenance tags and non-evictable authorship flags implement a permissioned memory model with block-level ownership. Controlled probes with Qwen3-8B Q4 show that compile-time placement and the structural relationship between blocks and the task query affect task success, with the cliff falling at roughly the seventh block position when the task follows the registry and the twelfth when it precedes. Grouping the critical block with content-adjacent neighbours and promoting the group as a unit lifts task success by tens of percentage points at positions where single-block placement fails. Cross-model replication on Qwen2.5-7B, Llama-3.1-8B, Mistral-7B-v0.3, and Qwen3-14B shows the content-priming effect appears at the same absolute positions across families, with magnitude varying with model strength. Block grouping raises Mistral's mean pass rate roughly fivefold at the hardest registry size, and a smaller model with the intervention can outperform a larger model without it in the mid-registry zone. Relevance gating reduces prompt cost by 67.8\% while recovering 83% of the promoted-condition success rate. Schema eviction produces 0% invocations against 100% with the schema present, a property policy-based approaches cannot guarantee by construction. Shared-registry coordination reduces inter-agent communication to a method call at zero coordination token cost.


翻译:RAMPART是一种针对大语言模型智能体设计的编译时记忆模型与纯内存块注册表。上下文组装是一种可编程的运行时操作,通过显式策略对结构化注册表中的内容进行排序、包含与驱逐。五种可组合原语(提升、门控、写入、驱逐、回滚)在零提示词令牌成本下,于编译前作用于可寻址的命名块。来源标签与不可驱逐的作者归属标志实现了具有块级所有权的权限式记忆模型。基于Qwen3-8B Q4的控制实验表明,编译时放置策略及块与任务查询的结构关系直接影响任务成功率:当任务紧随注册表内容时,成功率约在第七块位置出现断崖式下降;当任务前置注册表内容时,该位置延迟至第十二块。将关键块与内容相邻块进行分组并将该组作为整体提升,可在单一块放置失效的位置将任务成功率提升数十个百分点。针对Qwen2.5-7B、Llama-3.1-8B、Mistral-7B-v0.3及Qwen3-14B的跨模型复现实验表明,内容启动效应在各类模型族中出现在相同绝对位置,其影响幅度随模型能力变化。块分组使Mistral在最困难注册表规模下的平均通过率提升约五倍,且采用该干预措施的较小模型在注册表中间区域的表现可超越未使用干预的较大模型。相关性门控在恢复83%提升条件成功率的同时,将提示词成本降低67.8%。模式驱逐实现0%的调用率(相较于存在模式时的100%),而基于策略的方法无法通过构造方式保证该特性。共享注册表协调将智能体间通信简化为零协调令牌成本的方法调用。

0
下载
关闭预览

相关内容

TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
专访 | Recurrent AI:呼叫系统的「变废为宝」
机器之心
12+阅读 · 2018年11月28日
R语言数据挖掘利器:Rattle包
R语言中文社区
21+阅读 · 2018年11月17日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员