This paper proposes an empirical methodology to study software aging in GPU-based LLM serving systems. Traditional aging studies focus on CPU-centric software with relatively regular workloads; LLM serving is different, spanning a Python host and a CUDA device, handling requests whose cost varies by orders of magnitude, and relying on rapidly evolving software stacks. We run a 216-hour campaign across six co-located deployments under identical stress conditions, monitor host, device, and client metrics in parallel, and apply a statistical pipeline that accounts for autocorrelation and multiple testing. Our results reveal statistically significant memory aging in all deployments, with leak rates strongly dependent on the serving runtime and deployment configuration. Beyond these findings, we provide a reproducible framework that opens a research direction at the intersection of the software aging and rejuvenation and LLM serving communities.


翻译:本文提出了一种实证方法来研究基于GPU的大语言模型服务系统中的软件老化。传统的老化研究聚焦于以CPU为中心的软件,其工作负载相对规则;而大语言模型服务则不同,它横跨Python主机与CUDA设备,处理成本差异达数个数量级的请求,并依赖于快速迭代的软件栈。我们在相同压力条件下对六个共置部署开展了216小时的实验,并行监控主机、设备及客户端指标,并应用了考虑自相关性与多重检验的统计流程。实验结果显示,所有部署均存在统计上显著的内存老化,泄漏速率高度依赖于服务运行时与部署配置。除上述发现外,我们还提供了一个可复现的框架,为软件老化与更新领域及大语言模型服务领域的交叉研究开辟了新方向。

0
下载
关闭预览

相关内容

《基于大型语言模型的软件工程自动化研究》最新264页
专知会员服务
39+阅读 · 2025年7月14日
大语言模型的幻觉问题研究综述
专知会员服务
44+阅读 · 2024年12月25日
大语言模型评估技术研究进展
专知会员服务
49+阅读 · 2024年7月9日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
大语言模型安全现状与挑战
专知会员服务
88+阅读 · 2024年1月14日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
大模型时代的自然语言处理:挑战、机遇与发展
专知会员服务
130+阅读 · 2023年6月17日
盘点来自工业界的GPU共享方案
计算机视觉life
12+阅读 · 2021年9月2日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
深度学习的GPU:深度学习中使用GPU的经验和建议
数据挖掘入门与实战
11+阅读 · 2018年1月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
《基于大型语言模型的软件工程自动化研究》最新264页
专知会员服务
39+阅读 · 2025年7月14日
大语言模型的幻觉问题研究综述
专知会员服务
44+阅读 · 2024年12月25日
大语言模型评估技术研究进展
专知会员服务
49+阅读 · 2024年7月9日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
大语言模型安全现状与挑战
专知会员服务
88+阅读 · 2024年1月14日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
大模型时代的自然语言处理:挑战、机遇与发展
专知会员服务
130+阅读 · 2023年6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员