The rapid scaling of large language models (LLMs) exacerbates communication bottlenecks in AI data centers (AIDCs). To overcome this, optical circuit switches (OCS) are increasingly adopted for their superior bandwidth capacity and energy efficiency. However, their reconfiguration overhead precludes intra-iteration topology update, necessitating a priori engineering of a static topology to absorb time-varying LLM traffic. Existing methods engineer these topologies based on traffic matrices. However, this representation obscures the bursty concurrent bandwidth demands dictated by parallelization strategies and fails to account for the independent channels required for concurrent communication. To address this, we propose DELTA, an efficient logical topology optimization framework for AIDCs that leverages the computation-communication directed acyclic graph (DAG) to encode time-varying traffic patterns into a Mixed-Integer Linear Programming (MILP) model, while exploiting the temporal slack of non-critical tasks to save optical ports without penalizing iteration makespan. By pioneering a variable-length time interval formulation, DELTA significantly reduces the solution space compared to the fixed-time-step formulation. To scale to thousand-GPU clusters, we design a dual-track acceleration strategy that combines search space pruning (reducing complexity from quadratic to linear) with heuristic hot-starting. Evaluations on large-scale LLM workloads show that DELTA reduces communication time by up to 17.5\% compared to state-of-the-art traffic-matrix-based baselines. Furthermore, the framework reduces optical port consumption by at least 20\%; dynamically reallocating these surplus ports to bandwidth-bottlenecked workloads reduces their performance gap relative to ideal non-blocking electrical networks by up to 26.1\%, ultimately enabling most workloads to achieve near-ideal performance.


翻译:大型语言模型(LLMs)的快速扩展加剧了AI数据中心(AIDCs)中的通信瓶颈。为克服此问题,光路交换机(OCS)因其卓越的带宽容量和能效而被日益采用。然而,其重构开销阻碍了迭代内拓扑更新,需要预先设计静态拓扑以吸收时变的LLM流量。现有方法基于流量矩阵设计这些拓扑,但这种表示掩盖了并行化策略所决定的突发性并发带宽需求,且未能考虑并发通信所需的独立通道。为解决此问题,我们提出DELTA——一种高效的AIDCs逻辑拓扑优化框架,利用计算通信有向无环图(DAG)将时变流量模式编码为混合整数线性规划(MILP)模型,同时利用非关键任务的时间松弛来节省光端口而不惩罚迭代完成时间。通过首创可变长度时间间隔公式化,DELTA相比固定时间步长公式显著降低了求解空间。为扩展到千GPU级集群,我们设计了结合搜索空间剪枝(将复杂度从二次降至线性)与启发式热启动的双轨道加速策略。在大规模LLM工作负载上的评估表明,与基于流量矩阵的现有最优基线相比,DELTA将通信时间减少高达17.5%。此外,该框架将光端口消耗降低至少20%;动态重分配这些富余端口至带宽瓶颈工作负载,使其与理想无阻塞电网络的性能差距缩小高达26.1%,最终使大多数工作负载达到接近理想的性能。

0
下载
关闭预览

相关内容

TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
《无人机对海面作战影响评估》
专知会员服务
8+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
5+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
8+阅读 · 7月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员