会员服务
Forget Without Compromise: Nexus Sampling for Streaming KV-Cache Eviction Under Fixed Budgets
Arxiv
0+阅读 · 6月22日
CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference
CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference
Arxiv
0+阅读 · 6月23日
BipBipCache: Pipeline-Aware Integration of Low-Latency Tweakable Encryption in an Embedded Cache Controller
Arxiv
0+阅读 · 6月22日
WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware
Arxiv
0+阅读 · 6月20日
A detailed algorithmic study on a reuse-aware, near memory, all-digital Ising machine
Arxiv
0+阅读 · 6月20日
Non-Uniform L2 Cache Latency Across the Streaming Multiprocessors of an NVIDIA L40
Arxiv
0+阅读 · 6月21日
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
Arxiv
0+阅读 · 6月18日
Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse
Arxiv
0+阅读 · 6月22日
MIPSBLEED: Uncovering Microarchitectural Timing Leaks in Pervasive Embedded Processors
Arxiv
0+阅读 · 6月21日
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
Arxiv
0+阅读 · 6月22日
Service-Cut Certificates for Aligned Eviction in Tiered Cache Networks
Arxiv
0+阅读 · 6月20日
Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG
Arxiv
0+阅读 · 6月20日
Caching for Dollars, Not Hits: An Exact Offline Reference for Cloud-Egress Caching and the Crossover That Decides When It Pays
Arxiv
0+阅读 · 6月19日
Unlimited OCR Works
Arxiv
0+阅读 · 6月22日
HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models
Arxiv
0+阅读 · 6月22日
参考链接
微信扫码咨询专知VIP会员
Top