按世代划分的 IB 布线:DAC、AOC、光模块与分支线缆 · InfiniBand · 技术 · 文档 · CodingBox
CodingBox 文档

按世代划分的 IB 布线:DAC、AOC、光模块与分支线缆

InfiniBand 集群按传输距离等级布线:交换机在触手可及范围内用无源铜缆,稍远一些用有源铜缆,到下一排机柜用有源光缆,其余部分用配结构化光纤的光模块。每一代都把这些距离边界向内收缩,并更换了连接器;NDR 还引入了双端口模块和分支电缆,常让初次安装的人感到困惑。本页是布线参考——传输距离、连接器、分支配置、机械和身份规则。

各代连接器

代际每通道速率4x 端口连接器说明
SDR / DDR2.5 / 5 Gb/s10 / 20 Gb/sCX4(铜缆),后期为 QSFP遗留
QDR10 Gb/s40 Gb/sQSFPSFF-8436 管理
FDR14.06 Gb/s56 Gb/sQSFP+(FDR 等级)64B/66B;FEC 可选
EDR25.78 Gb/s100 Gb/sQSFP28与 100G 以太网使用相同光学器件,编码不同
HDR53.1 Gb/s PAM4200 Gb/sQSFP561:2 分支为 HDR100
NDR106 Gb/s PAM4400 Gb/s交换机上为 OSFP 双端口(每模块 2 × 400G);HCA 上为 OSFP 或 QSFP112每个交换机笼子 800G
XDR212 Gb/s PAM4800 Gb/sOSFP / OSFP-XD每个交换机笼子 1.6T

封装形式详情:QSFP28、 QSFP56、OSFP、 QSFP112。

传输距离等级

介质QDRFDREDRHDRNDR说明
无源 DAC≤ 7 m≤ 3–5 m≤ 3 m≤ 2 m≤ 1.5–2 m每一代传输距离都在缩短;更长距离需要更粗的线规
有源铜缆(ACC/AEC)—≤ 5 m≤ 5 m≤ 3–4 m≤ 3 m带电源的插头;NDR 用带重定时器的 AEC
AOC≤ 100 m(部分 300 m)≤ 100 m≤ 100 m≤ 100 m典型 ≤ 30–50 m850 nm VCSEL,内部为 MMF 带状光纤
SR 类光模块(MMF)≤ 300 m≤ 100–150 m≤ 70–100 m≤ 70–100 m≤ 50 m(VR)/100 m(SR)OM3/OM4,MPO
DR/FR 类光模块(SMF)——500 m – 2 km(PSM4、CWDM4)500 m – 2 km500 m(DR4)/2 km(FR4)MPO-12 APC(DR4)、双工 LC(FR4)

每种电缆内部结构:电缆内部结构。

NDR 双端口与分支电缆

NDR 交换机笼子容纳一个 双端口 OSFP 模块 = 两个独立的 400G 端口,位于两个 MPO-12/APC(或两个 LC 双工)插座之后。从一个模块出发的布线选项:

配置电缆远端
2 × 400G 直连两条 MPO-12 APC 主干缆两个 400G NDR HCA 端口(OSFP 或 QSFP112)或另一台交换机
1:2 分支(800G → 2 × 400G)Y 型电缆,一端为 OSFP,另两端为 OSFP/QSFP112两个 HCA——标准的服务器连接方式
1:4 分支(800G → 4 × 200G)一端为 OSFP,另四端为 QSFP56/QSFP112HDR 速率的 HCA(NDR200)
AOC 双端口一端为 OSFP 双端口,另两端为 OSFP/QSFP112最长约 30–50 m
DAC 双端口一端为 OSFP,另两端≤ 1.5–2 m;较重——仅限机柜内使用

每条分支都是一条独立的链路,拥有各自的协商过程;交换机会看到两个(或四个)端口。身份编码必须在每一端都一致地描述整条组件(电缆内部结构)。

带散热片与平顶 OSFP

  • 带散热片顶部的 OSFP——为模块上方有开放气流的交换机笼子集成散热片。不适用于平顶笼子。
  • 平顶 OSFP——用于 HCA 以及带骑跨式散热片的笼子。两种笼子都适用,但在开放式交换机笼子中可能会发热过高。
  • HCA 上的 QSFP112 在 QSFP 封装尺寸内共享 4 × 106 Gb/s 的 NDR 电气接口; QSFP112 HCA 端口与来自 OSFP 交换机的分支电缆配对使用。

热影响:功耗与热管理。

机械规则

规则原因
遵守弯曲半径(DAC ≥ 直径的 10 倍;AOC/光纤 ≥ 30 mm)挤压双绞铜线 → 通道错误;光纤弯折 → 接收损耗
支撑电缆重量——双端口 DAC 很重拉扯笼子、接触不良、桨卡开裂
每个 MPO 的有针/无针与 APC拆分与 MPO 布线
插入前清洁并检查每个 MPO一粒微尘会使某通道损耗增加 1–3 dB
未使用的笼子和连接器保持防尘帽污染是通道故障的首要原因
走线远离高温排风AOC 引擎和 AEC 插头会随温度老化

身份与厂商策略

主导厂商的 InfiniBand 交换机和 HCA 会依据受支持列表校验电缆和光模块,并将其 电缆信息(厂商、PN、SN、长度、技术类型)读入光纤网络管理器。未经校验的电缆可能以降速链路运行或被标记;编码长度或速率类别错误的电缆可能协商失败。身份字节是标准的 SFF-8636/CMIS 字段加上 InfiniBand 速率声明(合规代码、 厂商锁定)。

库存管理实践

  • 在两端都标注链路信息(交换机/端口 ↔ 主机/端口);分支电缆需要为每条分支单独标注。
  • 在光纤网络管理器或 CMDB 中记录每条电缆的厂商、PN、SN 和长度;在到货检验时从 mlxcables 或 CodingBox 中提取这些数据。
  • 按传输距离等级和连接器类型保留备件;NDR 双端口和分支变体不能与普通 400G 互换。
  • 部署前先老化新光模块(链路可靠性与监测)。

在 CodingBox 中

电缆两端和光模块的读取方式与其他模块相同:身份信息包含电缆长度、技术类型和速率类别,AOC 和光模块提供逐通道 DDM,NDR 模块提供 CMIS 状态(Check transceiver、DDM)。在安装前读取分支电缆的每一条分支,可以发现原本会以错误速率链路的不匹配端。

XDR 代际模块详情:OSFP224 和 OSFP-XD。

HCA 和网卡驱动如何校验这些电缆,以及从主机端查看结果的工具:网卡上的光模块兼容性、网卡工具与诊断。


如果您发现本资料中有不准确之处或错误,请选中相应片段并按 Ctrl+Enter,即可。