按世代划分的 IB 布线:DAC、AOC、光模块与分支线缆
InfiniBand 集群按传输距离等级布线:交换机在触手可及范围内用无源铜缆,稍远一些用有源铜缆,到下一排机柜用有源光缆,其余部分用配结构化光纤的光模块。每一代都把这些距离边界向内收缩,并更换了连接器;NDR 还引入了双端口模块和分支电缆,常让初次安装的人感到困惑。本页是布线参考——传输距离、连接器、分支配置、机械和身份规则。
各代连接器
| 代际 | 每通道速率 | 4x 端口 | 连接器 | 说明 |
|---|---|---|---|---|
| SDR / DDR | 2.5 / 5 Gb/s | 10 / 20 Gb/s | CX4(铜缆),后期为 QSFP | 遗留 |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | SFF-8436 管理 |
| FDR | 14.06 Gb/s | 56 Gb/s | QSFP+(FDR 等级) | 64B/66B;FEC 可选 |
| EDR | 25.78 Gb/s | 100 Gb/s | QSFP28 | 与 100G 以太网使用相同光学器件,编码不同 |
| HDR | 53.1 Gb/s PAM4 | 200 Gb/s | QSFP56 | 1:2 分支为 HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | 交换机上为 OSFP 双端口(每模块 2 × 400G);HCA 上为 OSFP 或 QSFP112 | 每个交换机笼子 800G |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 每个交换机笼子 1.6T |
封装形式详情:QSFP28、 QSFP56、OSFP、 QSFP112。
传输距离等级
| 介质 | QDR | FDR | EDR | HDR | NDR | 说明 |
|---|---|---|---|---|---|---|
| 无源 DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1.5–2 m | 每一代传输距离都在缩短;更长距离需要更粗的线规 |
| 有源铜缆(ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | 带电源的插头;NDR 用带重定时器的 AEC |
| AOC | ≤ 100 m(部分 300 m) | ≤ 100 m | ≤ 100 m | ≤ 100 m | 典型 ≤ 30–50 m | 850 nm VCSEL,内部为 MMF 带状光纤 |
| SR 类光模块(MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m(VR)/100 m(SR) | OM3/OM4,MPO |
| DR/FR 类光模块(SMF) | — | — | 500 m – 2 km(PSM4、CWDM4) | 500 m – 2 km | 500 m(DR4)/2 km(FR4) | MPO-12 APC(DR4)、双工 LC(FR4) |
每种电缆内部结构:电缆内部结构。
NDR 双端口与分支电缆
NDR 交换机笼子容纳一个 双端口 OSFP 模块 = 两个独立的 400G 端口,位于两个 MPO-12/APC(或两个 LC 双工)插座之后。从一个模块出发的布线选项:
| 配置 | 电缆 | 远端 |
|---|---|---|
| 2 × 400G 直连 | 两条 MPO-12 APC 主干缆 | 两个 400G NDR HCA 端口(OSFP 或 QSFP112)或另一台交换机 |
| 1:2 分支(800G → 2 × 400G) | Y 型电缆,一端为 OSFP,另两端为 OSFP/QSFP112 | 两个 HCA——标准的服务器连接方式 |
| 1:4 分支(800G → 4 × 200G) | 一端为 OSFP,另四端为 QSFP56/QSFP112 | HDR 速率的 HCA(NDR200) |
| AOC 双端口 | 一端为 OSFP 双端口,另两端为 OSFP/QSFP112 | 最长约 30–50 m |
| DAC 双端口 | 一端为 OSFP,另两端 | ≤ 1.5–2 m;较重——仅限机柜内使用 |
每条分支都是一条独立的链路,拥有各自的协商过程;交换机会看到两个(或四个)端口。身份编码必须在每一端都一致地描述整条组件(电缆内部结构)。
带散热片与平顶 OSFP
- 带散热片顶部的 OSFP——为模块上方有开放气流的交换机笼子集成散热片。不适用于平顶笼子。
- 平顶 OSFP——用于 HCA 以及带骑跨式散热片的笼子。两种笼子都适用,但在开放式交换机笼子中可能会发热过高。
- HCA 上的 QSFP112 在 QSFP 封装尺寸内共享 4 × 106 Gb/s 的 NDR 电气接口; QSFP112 HCA 端口与来自 OSFP 交换机的分支电缆配对使用。
热影响:功耗与热管理。
机械规则
| 规则 | 原因 |
|---|---|
| 遵守弯曲半径(DAC ≥ 直径的 10 倍;AOC/光纤 ≥ 30 mm) | 挤压双绞铜线 → 通道错误;光纤弯折 → 接收损耗 |
| 支撑电缆重量——双端口 DAC 很重 | 拉扯笼子、接触不良、桨卡开裂 |
| 每个 MPO 的有针/无针与 APC | 拆分与 MPO 布线 |
| 插入前清洁并检查每个 MPO | 一粒微尘会使某通道损耗增加 1–3 dB |
| 未使用的笼子和连接器保持防尘帽 | 污染是通道故障的首要原因 |
| 走线远离高温排风 | AOC 引擎和 AEC 插头会随温度老化 |
身份与厂商策略
主导厂商的 InfiniBand 交换机和 HCA 会依据受支持列表校验电缆和光模块,并将其 电缆信息(厂商、PN、SN、长度、技术类型)读入光纤网络管理器。未经校验的电缆可能以降速链路运行或被标记;编码长度或速率类别错误的电缆可能协商失败。身份字节是标准的 SFF-8636/CMIS 字段加上 InfiniBand 速率声明(合规代码、 厂商锁定)。
库存管理实践
- 在两端都标注链路信息(交换机/端口 ↔ 主机/端口);分支电缆需要为每条分支单独标注。
- 在光纤网络管理器或 CMDB 中记录每条电缆的厂商、PN、SN 和长度;在到货检验时从
mlxcables或 CodingBox 中提取这些数据。 - 按传输距离等级和连接器类型保留备件;NDR 双端口和分支变体不能与普通 400G 互换。
- 部署前先老化新光模块(链路可靠性与监测)。
在 CodingBox 中
电缆两端和光模块的读取方式与其他模块相同:身份信息包含电缆长度、技术类型和速率类别,AOC 和光模块提供逐通道 DDM,NDR 模块提供 CMIS 状态(Check transceiver、DDM)。在安装前读取分支电缆的每一条分支,可以发现原本会以错误速率链路的不匹配端。
HCA 和网卡驱动如何校验这些电缆,以及从主机端查看结果的工具:网卡上的光模块兼容性、网卡工具与诊断。