会员服务
FCDP: Fully Cached Data Parallel for Communication-Avoiding Large-Scale Training
Arxiv
0+阅读 · 2月6日
AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
Arxiv
0+阅读 · 1月30日
Training LLMs with Fault Tolerant HSDP on 100,000 GPUs
Arxiv
0+阅读 · 1月30日
The Energy-Throughput Trade-off in Lossless-Compressed Source Code Storage
Arxiv
0+阅读 · 1月19日
Revisiting Parameter Server in LLM Post-Training
Arxiv
0+阅读 · 1月27日
Placement Semantics for Distributed Deep Learning: A Systematic Framework for Analyzing Parallelism Strategies
Arxiv
0+阅读 · 1月5日
FastMPS: Revisit Data Parallel in Large-scale Matrix Product State Sampling
Arxiv
0+阅读 · 2025年12月23日
Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
Arxiv
0+阅读 · 2025年12月18日
BS-tree: A gapped data-parallel B-tree
Arxiv
0+阅读 · 2025年11月13日
ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training
Arxiv
0+阅读 · 2025年10月14日
Model Parallelism With Subnetwork Data Parallelism
Arxiv
0+阅读 · 2025年10月2日
Model Parallelism With Subnetwork Data Parallelism
Arxiv
0+阅读 · 2025年10月1日
Zeppelin: Balancing Variable-length Workloads in Data Parallel Large Model Training
Arxiv
0+阅读 · 2025年9月29日
Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems
Arxiv
0+阅读 · 2025年6月21日
Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems
Arxiv
0+阅读 · 2025年6月24日
参考链接
微信扫码咨询专知VIP会员
Top