AI 网络概述

训练大型 AI 模型把计算负载分摊到许多服务器上的许多块 GPU 上。它们之间的网络——而不是任何一块单独的 GPU——往往决定了集群的训练速度，这也是 AI 组网倾向于使用能获得的带宽最高的光模块的原因。

为什么网络至关重要

• 集合操作——GPU 之间持续以 all-to-all 模式交换梯度和参数，产生大量 东西向流量。
• 尾延迟至关重要——每一步都要等待最慢的链路，因此稳定的低延迟和无损传输是必须的。
• 规模——数千块 GPU 意味着高密度、高基数的交换机以及庞大的光模块数量。

两种组网方式

• InfiniBand——在 HPC 领域历史悠久，具备 RDMA 和无损流控（见 InfiniBand）。
• 带 RoCE 的以太网——即融合以太网上的 RDMA，在大规模 AI 场景中的应用日益增多，运行在无损以太网上。

光模块

AI 链路通常是 400G 和 800G，采用 QSFP-DD 和 OSFP 模块。具体的互连方案和光模块选型见 AI 互连与光模块。

同样的封装形式和管理存储器在这里同样适用——CodingBox 读取这些高速模块的方式与其他模块并无不同。

延伸阅读

• AI 集群布线——每块 GPU 的链路数、 rail-optimised 布局中的距离、DAC/AEC/AOC/DR 组合、连接器选型、光模块功耗、安装 QA。
• AI 组网中的链路可靠性与监测—— 为什么一条链路会拖垮整个任务、FIT 算法、预测性指标、监测架构、隔离与预防。