CodingBox 說明文件

InfiniBand 光模組與線纜

InfiniBand 使用與高速以太網相同的可插拔外殼,但在電纜與光模組之間的選擇——以及對第三方模組的容忍度——遵循著由 HPC 和 AI 集群所決定的自身規則。

按代際選擇電纜還是光模組

代際端口銅纜 DAC有源光纜光模組 + 光纖
EDR 100GQSFP28最長約 3–5 m最長 100 mSR4(MPO-12 MMF)、LR4
HDR 200GQSFP56最長約 2 m最長 100 mSR4/DR4
NDR 400GOSFP(雙端口 2×400G)約 1–2 m有限MPO-12 APC 單模上的 DR4/DR8

規律是:速率越高,無源銅纜的傳輸距離越短,網絡也隨之轉向光模組。到了 NDR,常規做法是使用帶 MPO-12 APC 連接器的單模 DR 光模組——斜面研磨是強制要求,將 APC 與平面 UPC 連接器混用是常見的安裝故障。

雙端口 OSFP

NDR 交換機端口通常是雙端口 OSFP:一個 OSFP 模組承載兩條獨立的 400G 鏈路(2×DR4),使面板密度翻倍。帶散熱片的一體式散熱器負責散熱。參見 OSFP

信號與 FEC

  • EDR:NRZ 25G 通道;HDR:PAM4 50G;NDR:PAM4 100G。
  • 從 HDR 開始,強制要求 RS-FEC。FEC 不匹配,或模組未聲明預期的 FEC,是「鏈路始終無法訓練」的常見原因。

廠商策略

InfiniBand 網絡主要由單一交換機/網卡廠商主導,該廠商的平台通過身份資訊校驗電纜和光模組。一個未被識別的模組可能讀取正常,卻因為諸如 "speed and type: Not supported" 之類的狀態而無法鏈路——參見 廠商鎖定。因此運維方會儲備已獲認證的光模組,若使用第三方模組,則將其編碼為預期的身份資訊。

大規模運維

  • 每個集群擁有數千個光模組:即使年故障率很低,也意味著持續不斷的更換。跟蹤逐通道 DDM,在某條通道拖慢集合操作之前就發現它正在失效。
  • MPO 端面的潔淨程度是鏈路抖動的主要原因——400G 相關細節參見 CMIS 問題

在 CodingBox 中

CodingBox 按 SFF-8636 讀取 EDR/HDR 模組,按 CMIS 讀取 NDR OSFP/QSFP-DD 模組:身份資訊、模組狀態、逐通道 DDM,以及決定網絡是否會接受該模組的身份欄位。


如果您發現本文有不準確之處或錯誤,請選取相應片段並按 Ctrl+Enter,即可