AI 集群布线：数量、距离、传输介质与验收

GPU 集群主要就是线缆。一个节点上 8 块 GPU 意味着 8 条 400G（或 800G）scale-out 链路，外加管理和存储链路；上千块 GPU 意味着跨两三层交换的上千个光端口，每一个都可能成为训练中断点。本页把 GPU 组网中的组网设计转化为线缆数量、传输距离分类、连接器选型和安装检查清单。

统计链路数

以典型的 8-GPU 节点、每块 GPU 一张 400G 网卡、rail-optimised 两层组网为例：

项目	公式	1 024 块 GPU（128 个节点）
GPU 到 leaf 链路	GPU 数 × 1	1 024 × 400G
leaf 到 spine 链路（无阻塞）	= GPU 到 leaf	1 024 × 400G
光/线缆端口数（每条链路两端）	链路数 × 2	4 096
存储 + 管理网卡	每节点 2–4 个	再加 256–512 条链路
备用光模块（3–5 %）	—	150–250

采用 NDR 双端口交换机模块（每个 OSFP 2 × 400G）时，交换机侧的模块数量减半，但光纤数量不变。三层组网每 1 024 块 GPU 还要再加 1 024 条 spine 到 core 链路。这些端口中的每一个都是一个具有身份信息和 DDM 的光模块或线缆插头（链路可靠性与监测）。

rail-optimised 布局中的距离

段落	典型距离	介质
GPU 网卡 → leaf，同机柜	≤ 2 m	无源 DAC（400G ≤ 2 m；800G ≤ 1–1.5 m）——最便宜、零功耗、较重
GPU 网卡 → leaf，相邻机柜（rail 组跨一整排）	3–10 m	AEC（≤ 3–5 m）或 AOC / 基于多模光纤的 SR 光模块
leaf → spine，同机房	10–100 m	AOC 最长约 50–100 m；OM4 上的 SR4/SR8 / VR ≤ 50–100 m；SMF 上的 DR4/DR8 500 m——400G 以上 DR 更占优
spine → core / 机房之间	100 m – 2 km	DR4 / FR4 / 2×FR4 单模
楼宇间 DCI	2–80 km	LR4、ZR/ZR+（相干与长距）

rail-optimised 布线把每个节点的 GPU i 都接到 leaf i，因此一个节点的 8 根线缆分散到 8 个不同的 leaf——大多数 GPU 到 leaf 链路要出机柜，DAC 的占比比经典 ToR 设计中要小。详见线缆内部结构。

连接器与光纤选型

光模块	连接器	光纤	说明
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC（或 2 × MPO-12）	SMF，Base-8/Base-16	单模并行链路全程使用 APC；模块端带针，跳线端不带针
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m；光模块便宜，但每米光纤成本更高
400G FR4 / 2×FR4	双工 LC / 2 × LC	SMF	光纤数量更少，WDM 在模块内部完成
NDR 双端口 OSFP	2 × MPO-12 APC	SMF	每个模块两个逻辑端口；分支线缆 1:2 / 1:4（IB 布线）
DAC / AEC	无	twinax	两端都有身份信息

MPO 主干全程采用极性方式 B；4 通道光模块使用 Base-8 主干（拆分与 MPO 布线）。

仅光模块自身的功耗与发热

光模块	功耗	每台 64 端口交换机
400G DR4 QSFP-DD	8–12 W	0.5–0.8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0.9–1.2 kW
400G AOC 端口	3–5 W	—
800G AEC 端口	4–6 W	—
DAC	0	—

因此交换机面板需要无阻碍的前后风道；交换机上用带散热片的 OSFP，网卡上用平顶型；线缆捆扎不能挡住进风口（功耗与散热、温度与电压）。在主机支持的情况下，线性（LPO）光模块可将模块功耗降低约一半（调制与 DSP）。

安装与 QA 检查清单

进料检验每一个光模块和线缆端口：身份信息、校验和、DDM 是否正常，保存基线（生产与测试）。
新光模块部署前在工作温度下老化 24–72 小时。
安装时检查并清洁每个 MPO（APC 型号用 APC 探头）；绝不对接未检查过的连接器。
标签两端：节点/GPU/网卡 ↔ leaf/端口；分支线缆逐支标注。
弯曲半径与重量管理——DAC/AEC 用线槽和捆扎，光纤留服务余量环。
开通验证：每条链路满速满宽、FEC 开启，每通道接收光功率与相邻通道相差在 2 dB 以内，空闲时 pre-FEC 误码率 < 10⁻⁷ （VDM 与 FEC 指标）。
记录每通道 DDM 和身份信息到组网管理系统 / CMDB 中作为基线。
按介质类别和连接器准备备件，并保持其处于已老化状态。

常见安装故障

故障	特征
APC 型 DR4 上插了 UPC 跳线	两端所有通道功率偏低 3–10 dB
主干极性接反	所有通道无光
MPO 脏污	一两个通道功率偏低；这些通道 pre-FEC 误码率高
DAC 长度超出主机支持范围	链路降速或频繁掉线
分支线缆支路接错	端口连到错误的对端；组网管理系统拓扑不匹配
带散热片的 OSFP 插入平顶笼子（或反之）	插不到位 / 过热

在 CodingBox 中

在这种规模下，进料检验是一套工作流，而不是抽检：CodingBox 读取每个模块或线缆端口，校验身份信息和校验和，将实时每通道 DDM 记录为基线，并按序列号存入代码数据库，这样日后从频繁掉线端口拔下的模块就能与它出厂第一天的状态做比对。

如果您发现本资料中有不准确之处或错误，请选中相应片段并按 Ctrl+Enter，即可。