Retrieval-Augmented Generation (RAG) is a critical paradigm for building reliable, knowledge-intensive Large Language Model (LLM) applications. However, the multi-stage pipeline (retrieve, generate) and unique workload characteristics (e.g., knowledge dependency) of RAG systems pose significant challenges for serving performance optimization. Existing generic LLM inference traces fail to capture these RAG-specific dynamics, creating a significant performance gap between academic research and real-world deployment. To bridge this gap, this paper introduces RAGPulse, an open-source RAG workload trace dataset. This dataset was collected from an university-wide Q&A system serving that has served more than 40,000 students and faculties since April 2024. We detail RAGPulse's system architecture, its privacy-preserving hash-based data format, and provide an in-depth statistical analysis. Our analysis reveals that real-world RAG workloads exhibit significant temporal locality and a highly skewed hot document access pattern. RAGPulse provides a high-fidelity foundation for researchers to develop and validate novel optimization strategies for RAG systems, such as content-aware batching and retrieval caching, ultimately enhancing the efficiency and reliability of RAG services. The code is available at https://github.com/flashserve/RAGPulse.


翻译:检索增强生成(RAG)是构建可靠、知识密集型大语言模型(LLM)应用的关键范式。然而,RAG系统的多阶段流水线(检索、生成)及其独特的工作负载特性(如知识依赖性)给服务性能优化带来了重大挑战。现有的通用LLM推理追踪数据无法捕捉这些RAG特有的动态特性,导致学术研究与实际部署之间存在显著的性能差距。为弥合这一差距,本文介绍了RAGPulse,一个开源的RAG工作负载追踪数据集。该数据集采集自一个自2024年4月起为超过40,000名学生和教职工提供服务的全校性问答系统。我们详细阐述了RAGPulse的系统架构、其基于哈希的隐私保护数据格式,并提供了深入的统计分析。我们的分析表明,真实世界的RAG工作负载表现出显著的时间局部性和高度偏斜的热门文档访问模式。RAGPulse为研究人员开发和验证针对RAG系统的新型优化策略(如内容感知批处理和检索缓存)提供了一个高保真的基础,最终提升RAG服务的效率和可靠性。代码可在 https://github.com/flashserve/RAGPulse 获取。

0
下载
关闭预览

相关内容

【AAAI2025】TimeDP:通过领域提示学习生成多领域时间序列
Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员