会员服务
Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs
Arxiv
0+阅读 · 5月29日
Modeling the Impact of Fiber Latency on Compute-Communication Overlap in Geo-Distributed Multi-Datacenter AI Training
Arxiv
0+阅读 · 5月18日
SiDP: Memory-Efficient Data Parallelism for Offline LLM Inference
Arxiv
0+阅读 · 5月27日
Demystifying Pipeline Parallelism: First Theory for PipeDream
Arxiv
0+阅读 · 6月2日
DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
Arxiv
0+阅读 · 5月12日
FlashOverlap: Minimizing Tail Latency in Communication Overlap for Distributed LLM Training
Arxiv
0+阅读 · 4月27日
CommFuse: Hiding Tail Latency via Communication Decomposition and Fusion for Distributed LLM Training
Arxiv
0+阅读 · 4月29日
veScale-FSDP: Flexible and High-Performance FSDP at Scale
Arxiv
0+阅读 · 4月21日
Large-Scale Data Parallelization of Product Quantization and Inverted Indexing Using Dask
Arxiv
0+阅读 · 4月23日
DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
Arxiv
0+阅读 · 4月2日
Leveraging SIMD for Accelerating Large-number Arithmetic
Arxiv
0+阅读 · 4月23日
Sampling Parallelism for Fast and Efficient Bayesian Learning
Arxiv
0+阅读 · 4月6日
MuLoCo: Muon is a practical inner optimizer for DiLoCo
Arxiv
0+阅读 · 2月25日
veScale-FSDP: Flexible and High-Performance FSDP at Scale
Arxiv
0+阅读 · 2月27日
SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training
Arxiv
0+阅读 · 3月3日
参考链接
微信扫码咨询专知VIP会员
Top