会员服务
Joint Encoding of KV-Cache Blocks for Scalable LLM Serving
Arxiv
0+阅读 · 1月6日
Enhancing Reliability of STT-MRAM Caches by Eliminating Read Disturbance Accumulation
Arxiv
0+阅读 · 1月1日
NVM-in-Cache: Repurposing Commodity 6T SRAM Cache into NVM Analog Processing-in-Memory Engine using a Novel Compute-on-Powerline Scheme
Arxiv
0+阅读 · 2025年12月27日
VNF-Cache: An In-Network Key-Value Store Cache Based on Network Function Virtualization
Arxiv
0+阅读 · 2025年12月23日
TDC-Cache: A Trustworthy Decentralized Cooperative Caching Framework for Web3.0
Arxiv
0+阅读 · 2025年12月10日
Efficient Low Rank Attention for Long-Context Inference in Large Language Models
Arxiv
0+阅读 · 2025年12月1日
Robustifying Learning-Augmented Caching Efficiently without Compromising 1-Consistency
Arxiv
0+阅读 · 2025年11月1日
H2-Cache: A Novel Hierarchical Dual-Stage Cache for High-Performance Acceleration of Generative Diffusion Models
Arxiv
0+阅读 · 2025年10月31日
Choreographer: A Full-System Framework for Fine-Grained Tasks in Cache Hierarchies
Choreographer: A Full-System Framework for Fine-Grained Tasks in Cache Hierarchies
Arxiv
0+阅读 · 2025年10月30日
Category-Aware Semantic Caching for Heterogeneous LLM Workloads
Arxiv
0+阅读 · 2025年10月29日
Tokencake: A KV-Cache-centric Serving Framework for LLM-based Multi-Agent Applications
Arxiv
0+阅读 · 2025年10月31日
SpecAttn: Speculating Sparse Attention
SpecAttn: Speculating Sparse Attention
Arxiv
0+阅读 · 2025年10月31日
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
Arxiv
0+阅读 · 2025年10月30日
PureKV: Plug-and-Play KV Cache Optimization with Spatial-Temporal Sparse Attention for Vision-Language Large Models
PureKV: Plug-and-Play KV Cache Optimization with Spatial-Temporal Sparse Attention for Vision-Language Large Models
Arxiv
0+阅读 · 2025年10月30日
Oneiros: KV Cache Optimization through Parameter Remapping for Multi-tenant LLM Serving
Arxiv
0+阅读 · 2025年10月29日
参考链接
微信扫码咨询专知VIP会员
Top