CodingBox 說明文件

各世代的 IB 佈線:DAC、AOC、光模組與分支線纜

InfiniBand 集群按傳輸距離等級佈線:交換機在觸手可及範圍內用無源銅纜,稍遠一些用有源銅纜,到下一排機櫃用有源光纜,其餘部分用配結構化光纖的光模組。每一代都把這些距離邊界向內收縮,並更換了連接器;NDR 還引入了雙端口模組和分支電纜,常讓初次安裝的人感到困惑。本頁是佈線參考——傳輸距離、連接器、分支配置、機械和身份規則。

各代連接器

代際每通道速率4x 端口連接器說明
SDR / DDR2.5 / 5 Gb/s10 / 20 Gb/sCX4(銅纜),後期為 QSFP遺留
QDR10 Gb/s40 Gb/sQSFPSFF-8436 管理
FDR14.06 Gb/s56 Gb/sQSFP+(FDR 等級)64B/66B;FEC 可選
EDR25.78 Gb/s100 Gb/sQSFP28與 100G 以太網使用相同光學器件,編碼不同
HDR53.1 Gb/s PAM4200 Gb/sQSFP561:2 分支為 HDR100
NDR106 Gb/s PAM4400 Gb/s交換機上為 OSFP 雙端口(每模組 2 × 400G);HCA 上為 OSFP 或 QSFP112每個交換機籠子 800G
XDR212 Gb/s PAM4800 Gb/sOSFP / OSFP-XD每個交換機籠子 1.6T

封裝形式詳情:QSFP28QSFP56OSFPQSFP112

傳輸距離等級

介質QDRFDREDRHDRNDR說明
無源 DAC≤ 7 m≤ 3–5 m≤ 3 m≤ 2 m≤ 1.5–2 m每一代傳輸距離都在縮短;更長距離需要更粗的線規
有源銅纜(ACC/AEC)≤ 5 m≤ 5 m≤ 3–4 m≤ 3 m帶電源的插頭;NDR 用帶重定時器的 AEC
AOC≤ 100 m(部分 300 m)≤ 100 m≤ 100 m≤ 100 m典型 ≤ 30–50 m850 nm VCSEL,內部為 MMF 帶狀光纖
SR 類光模組(MMF)≤ 300 m≤ 100–150 m≤ 70–100 m≤ 70–100 m≤ 50 m(VR)/100 m(SR)OM3/OM4,MPO
DR/FR 類光模組(SMF)500 m – 2 km(PSM4、CWDM4)500 m – 2 km500 m(DR4)/2 km(FR4)MPO-12 APC(DR4)、雙工 LC(FR4)

每種電纜內部結構:電纜內部結構

NDR 雙端口與分支電纜

NDR 交換機籠子容納一個 雙端口 OSFP 模組 = 兩個獨立的 400G 端口,位於兩個 MPO-12/APC(或兩個 LC 雙工)插座之後。從一個模組出發的佈線選項:

配置電纜遠端
2 × 400G 直連兩條 MPO-12 APC 主幹纜兩個 400G NDR HCA 端口(OSFP 或 QSFP112)或另一台交換機
1:2 分支(800G → 2 × 400G)Y 型電纜,一端為 OSFP,另兩端為 OSFP/QSFP112兩個 HCA——標準的伺服器連接方式
1:4 分支(800G → 4 × 200G)一端為 OSFP,另四端為 QSFP56/QSFP112HDR 速率的 HCA(NDR200)
AOC 雙端口一端為 OSFP 雙端口,另兩端為 OSFP/QSFP112最長約 30–50 m
DAC 雙端口一端為 OSFP,另兩端≤ 1.5–2 m;較重——僅限機櫃內使用

每條分支都是一條獨立的鏈路,擁有各自的協商過程;交換機會看到兩個(或四個)端口。身份編碼必須在每一端都一致地描述整條組件(電纜內部結構)。

帶散熱片與平頂 OSFP

  • 帶散熱片頂部的 OSFP——為模組上方有開放氣流的交換機籠子集成散熱片。不適用於平頂籠子。
  • 平頂 OSFP——用於 HCA 以及帶騎跨式散熱片的籠子。兩種籠子都適用,但在開放式交換機籠子中可能會發熱過高。
  • HCA 上的 QSFP112 在 QSFP 封裝尺寸內共享 4 × 106 Gb/s 的 NDR 電氣介面; QSFP112 HCA 端口與來自 OSFP 交換機的分支電纜配對使用。

熱影響:功耗與熱管理

機械規則

規則原因
遵守彎曲半徑(DAC ≥ 直徑的 10 倍;AOC/光纖 ≥ 30 mm)擠壓雙絞銅線 → 通道錯誤;光纖彎折 → 接收損耗
支撐電纜重量——雙端口 DAC 很重拉扯籠子、接觸不良、槳卡開裂
每個 MPO 的有針/無針與 APC拆分與 MPO 佈線
插入前清潔並檢查每個 MPO一粒微塵會使某通道損耗增加 1–3 dB
未使用的籠子和連接器保持防塵帽污染是通道故障的首要原因
走線遠離高溫排風AOC 引擎和 AEC 插頭會隨溫度老化

身份與廠商策略

主導廠商的 InfiniBand 交換機和 HCA 會依據受支援列表校驗電纜和光模組,並將其 電纜資訊(廠商、PN、SN、長度、技術類型)讀入光纖網絡管理器。未經校驗的電纜可能以降速鏈路運行或被標記;編碼長度或速率類別錯誤的電纜可能協商失敗。身份位元組是標準的 SFF-8636/CMIS 欄位加上 InfiniBand 速率聲明(合規代碼廠商鎖定)。

庫存管理實踐

  • 在兩端都標注鏈路資訊(交換機/端口 ↔ 主機/端口);分支電纜需要為每條分支單獨標注。
  • 在光纖網絡管理器或 CMDB 中記錄每條電纜的廠商、PN、SN 和長度;在到貨檢驗時從 mlxcables 或 CodingBox 中提取這些數據。
  • 按傳輸距離等級和連接器類型保留備件;NDR 雙端口和分支變體不能與普通 400G 互換。
  • 部署前先老化新光模組(鏈路可靠性與監測)。

在 CodingBox 中

電纜兩端和光模組的讀取方式與其他模組相同:身份資訊包含電纜長度、技術類型和速率類別,AOC 和光模組提供逐通道 DDM,NDR 模組提供 CMIS 狀態(Check transceiverDDM)。在安裝前讀取分支電纜的每一條分支,可以發現原本會以錯誤速率鏈路的不匹配端。

XDR 代際模組詳情:OSFP224OSFP-XD

HCA 和網卡驅動如何校驗這些電纜,以及從主機端查看結果的工具:網卡上的光模組兼容性網卡工具與診斷


如果您發現本文有不準確之處或錯誤,請選取相應片段並按 Ctrl+Enter,即可