Long-lived AI agents are increasingly deployed as persistent operational systems, yet they are still mostly evaluated like freshly initialized models. Day-one benchmarks miss a basic systems question: how does an agent's reliability change after deployment? Even when model weights are frozen, an agent's effective state keeps changing as it compresses interaction history, retrieves from a growing memory store, revises facts after updates, and undergoes routine maintenance. Reliability therefore becomes a lifespan property of the full agent harness, not only a snapshot property of the base model. We introduce AgingBench, a longitudinal reliability benchmark for agent lifespan engineering: measuring not only whether deployed agents degrade, but what form the degradation takes and where repair should target. AgingBench organizes agent aging into four mechanisms: compression aging, where writing and rewriting drops future-relevant details; interference aging, where accumulated similar memories crowd out the target fact; revision aging, where changed or derived state is not updated correctly; and maintenance aging, where lifecycle events such as model swapping trigger regressions. To diagnose these failures, AgingBench uses temporal dependency graphs and counterfactual probes that produce diagnostic profiles for the write, retrieval, and utilization stages of the memory pipeline. Across 6 scenarios, 10 memory systems and 6 models from two families, we find that agent aging is not one-dimensional over 400 runs spanning 50-200 sessions: a well-formed reply can hide a value the memory no longer supplies; derived state collapses as updates accumulate; and the same wrong answer can require different repairs depending on what the diagnostic profile points to.


翻译:暂无翻译

0
下载
关闭预览

相关内容

综述 | Self-Evolving Coding Agents:自进化编程智能体
智能体工程(Agent Engineering)
专知会员服务
40+阅读 · 2025年12月31日
Agent有望定义万亿劳动力市场
专知会员服务
21+阅读 · 2025年6月11日
AI Agent深度(二):2025 Agent元年,AI从L2向L3发展
专知会员服务
46+阅读 · 2025年5月5日
人工智能专题报告:Operator和Manus打开AI Agent时代
专知会员服务
65+阅读 · 2025年3月12日
2024中国AI Agent行业研究报告|附60页PDF文件下载
专知会员服务
128+阅读 · 2024年4月30日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
《人工智能转型手册》,吴恩达 著
人工智能学家
22+阅读 · 2018年12月14日
45K!刚面完 AI 岗,这几点分享给你!
程序人生
13+阅读 · 2018年12月13日
【智能制造】新一代智能制造:人工智能与智能制造
产业智能官
17+阅读 · 2018年8月11日
【AI 工程师】掌握这10个项目,秒杀90%面试者!
人工智能头条
13+阅读 · 2017年12月14日
【人工智能】人工智能5大商业模式
产业智能官
17+阅读 · 2017年10月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
15+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
综述 | Self-Evolving Coding Agents:自进化编程智能体
智能体工程(Agent Engineering)
专知会员服务
40+阅读 · 2025年12月31日
Agent有望定义万亿劳动力市场
专知会员服务
21+阅读 · 2025年6月11日
AI Agent深度(二):2025 Agent元年,AI从L2向L3发展
专知会员服务
46+阅读 · 2025年5月5日
人工智能专题报告:Operator和Manus打开AI Agent时代
专知会员服务
65+阅读 · 2025年3月12日
2024中国AI Agent行业研究报告|附60页PDF文件下载
专知会员服务
128+阅读 · 2024年4月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员