会员服务
A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference
Arxiv
0+阅读 · 6月13日
TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval
Arxiv
0+阅读 · 5月18日
Improving Instruction Fetch Efficiency via High-Level Program Map Traversal
Arxiv
0+阅读 · 3月31日
DuoServe-MoE: Dual-Phase Expert Prefetch and Caching for LLM Inference QoS Assurance
Arxiv
0+阅读 · 4月9日
Agentic Architect: An Agentic AI Framework for Architecture Design Exploration and Optimization
Arxiv
0+阅读 · 4月28日
PCR: A Prefetch-Enhanced Cache Reuse System for Low-Latency RAG Serving
Arxiv
0+阅读 · 3月24日
Agile TLB Prefetching and Prediction Replacement Policy
Arxiv
0+阅读 · 3月19日
Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents
Arxiv
0+阅读 · 2月26日
PhantomFetch: Obfuscating Loads against Prefetcher Side-Channel Attacks
Arxiv
0+阅读 · 3月7日
Mitigating the Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques
Arxiv
0+阅读 · 3月8日
THz RHS Transceiver for Low-Latency Multi-User VR Transmission with MEC
Arxiv
0+阅读 · 3月2日
DeepCompile: A Compiler-Driven Approach to Optimizing Distributed Deep Learning Training
Arxiv
0+阅读 · 2月19日
ORAP: Optimized Row Access Prefetching for Rowhammer-mitigated Memory
Arxiv
0+阅读 · 2月13日
Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference
Arxiv
0+阅读 · 2月6日
SPPAM: Signature Pattern Prediction and Access-Map Prefetcher
Arxiv
0+阅读 · 2月8日
参考链接
微信扫码咨询专知VIP会员
Top