会员服务
Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing
Arxiv
0+阅读 · 6月15日
Coordinated Scheduling for MoE LLM Serving
Arxiv
0+阅读 · 6月13日
M*: A Modular, Extensible, Serving System for Multimodal Models
Arxiv
0+阅读 · 6月13日
Facial Affect Analysis for Service-Oriented Systems: Advances, Challenges, and Future Visions
Arxiv
0+阅读 · 6月13日
Anomaly Detection and Root Cause Analysis for Microservice Systems
Arxiv
0+阅读 · 6月8日
An Interpretable Latency Model for Speculative Decoding in LLM Serving
Arxiv
0+阅读 · 5月14日
M*: A Modular, Extensible, Serving System for Multimodal Models
Arxiv
0+阅读 · 6月10日
InfiniLoRA: Disaggregated Multi-LoRA Serving for Large Language Models
Arxiv
0+阅读 · 4月8日
Which Types of Heterogeneity Matter for Root Cause Localization in Microservice Systems ?
Arxiv
0+阅读 · 4月29日
Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs
Arxiv
0+阅读 · 3月23日
Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
Arxiv
0+阅读 · 4月2日
LegoDiffusion: Micro-Serving Text-to-Image Diffusion Workflows
Arxiv
0+阅读 · 4月9日
Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
Arxiv
0+阅读 · 4月16日
OServe: Accelerating LLM Serving via Spatial-Temporal Workload Orchestration
Arxiv
0+阅读 · 5月4日
Strait: Perceiving Priority and Interference in ML Inference Serving
Arxiv
0+阅读 · 4月30日
参考链接
微信扫码咨询专知VIP会员
Top