InfiniBand 光模組與線纜
InfiniBand 使用與高速以太網相同的可插拔外殼,但在電纜與光模組之間的選擇——以及對第三方模組的容忍度——遵循著由 HPC 和 AI 集群所決定的自身規則。
按代際選擇電纜還是光模組
| 代際 | 端口 | 銅纜 DAC | 有源光纜 | 光模組 + 光纖 |
|---|---|---|---|---|
| EDR 100G | QSFP28 | 最長約 3–5 m | 最長 100 m | SR4(MPO-12 MMF)、LR4 |
| HDR 200G | QSFP56 | 最長約 2 m | 最長 100 m | SR4/DR4 |
| NDR 400G | OSFP(雙端口 2×400G) | 約 1–2 m | 有限 | MPO-12 APC 單模上的 DR4/DR8 |
規律是:速率越高,無源銅纜的傳輸距離越短,網絡也隨之轉向光模組。到了 NDR,常規做法是使用帶 MPO-12 APC 連接器的單模 DR 光模組——斜面研磨是強制要求,將 APC 與平面 UPC 連接器混用是常見的安裝故障。
雙端口 OSFP
NDR 交換機端口通常是雙端口 OSFP:一個 OSFP 模組承載兩條獨立的 400G 鏈路(2×DR4),使面板密度翻倍。帶散熱片的一體式散熱器負責散熱。參見 OSFP。
信號與 FEC
- EDR:NRZ 25G 通道;HDR:PAM4 50G;NDR:PAM4 100G。
- 從 HDR 開始,強制要求 RS-FEC。FEC 不匹配,或模組未聲明預期的 FEC,是「鏈路始終無法訓練」的常見原因。
廠商策略
InfiniBand 網絡主要由單一交換機/網卡廠商主導,該廠商的平台通過身份資訊校驗電纜和光模組。一個未被識別的模組可能讀取正常,卻因為諸如 "speed and type: Not supported" 之類的狀態而無法鏈路——參見 廠商鎖定。因此運維方會儲備已獲認證的光模組,若使用第三方模組,則將其編碼為預期的身份資訊。
大規模運維
- 每個集群擁有數千個光模組:即使年故障率很低,也意味著持續不斷的更換。跟蹤逐通道 DDM,在某條通道拖慢集合操作之前就發現它正在失效。
- MPO 端面的潔淨程度是鏈路抖動的主要原因——400G 相關細節參見 CMIS 問題。
在 CodingBox 中
CodingBox 按 SFF-8636 讀取 EDR/HDR 模組,按 CMIS 讀取 NDR OSFP/QSFP-DD 模組:身份資訊、模組狀態、逐通道 DDM,以及決定網絡是否會接受該模組的身份欄位。