InfiniBand 光模块与线缆

InfiniBand 使用与高速以太网相同的可插拔外壳，但在电缆与光模块之间的选择——以及对第三方模块的容忍度——遵循着由 HPC 和 AI 集群所决定的自身规则。

按代际选择电缆还是光模块

代际	端口	铜缆 DAC	有源光缆	光模块 + 光纤
EDR 100G	QSFP28	最长约 3–5 m	最长 100 m	SR4（MPO-12 MMF）、LR4
HDR 200G	QSFP56	最长约 2 m	最长 100 m	SR4/DR4
NDR 400G	OSFP（双端口 2×400G）	约 1–2 m	有限	MPO-12 APC 单模上的 DR4/DR8

规律是：速率越高，无源铜缆的传输距离越短，网络也随之转向光模块。到了 NDR，常规做法是使用带 MPO-12 APC 连接器的单模 DR 光模块——斜面研磨是强制要求，将 APC 与平面 UPC 连接器混用是常见的安装故障。

双端口 OSFP

NDR 交换机端口通常是双端口 OSFP：一个 OSFP 模块承载两条独立的 400G 链路（2×DR4），使面板密度翻倍。带散热片的一体式散热器负责散热。参见 OSFP。

信号与 FEC

EDR：NRZ 25G 通道；HDR：PAM4 50G；NDR：PAM4 100G。
从 HDR 开始，强制要求 RS-FEC。FEC 不匹配，或模块未声明预期的 FEC，是“链路始终无法训练”的常见原因。

厂商策略

InfiniBand 网络主要由单一交换机/网卡厂商主导，该厂商的平台通过身份信息校验电缆和光模块。一个未被识别的模块可能读取正常，却因为诸如 "speed and type: Not supported" 之类的状态而无法链路——参见厂商锁定。因此运维方会储备已获认证的光模块，若使用第三方模块，则将其编码为预期的身份信息。

大规模运维

每个集群拥有数千个光模块：即使年故障率很低，也意味着持续不断的更换。跟踪逐通道 DDM，在某条通道拖慢集合操作之前就发现它正在失效。
MPO 端面的洁净程度是链路抖动的主要原因——400G 相关细节参见 CMIS 问题。

在 CodingBox 中

CodingBox 按 SFF-8636 读取 EDR/HDR 模块，按 CMIS 读取 NDR OSFP/QSFP-DD 模块：身份信息、模块状态、逐通道 DDM，以及决定网络是否会接受该模块的身份字段。

如果您发现本资料中有不准确之处或错误，请选中相应片段并按 Ctrl+Enter，即可。