各世代的 IB 佈線:DAC、AOC、光模組與分支線纜
InfiniBand 集群按傳輸距離等級佈線:交換機在觸手可及範圍內用無源銅纜,稍遠一些用有源銅纜,到下一排機櫃用有源光纜,其餘部分用配結構化光纖的光模組。每一代都把這些距離邊界向內收縮,並更換了連接器;NDR 還引入了雙端口模組和分支電纜,常讓初次安裝的人感到困惑。本頁是佈線參考——傳輸距離、連接器、分支配置、機械和身份規則。
各代連接器
| 代際 | 每通道速率 | 4x 端口 | 連接器 | 說明 |
|---|---|---|---|---|
| SDR / DDR | 2.5 / 5 Gb/s | 10 / 20 Gb/s | CX4(銅纜),後期為 QSFP | 遺留 |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | SFF-8436 管理 |
| FDR | 14.06 Gb/s | 56 Gb/s | QSFP+(FDR 等級) | 64B/66B;FEC 可選 |
| EDR | 25.78 Gb/s | 100 Gb/s | QSFP28 | 與 100G 以太網使用相同光學器件,編碼不同 |
| HDR | 53.1 Gb/s PAM4 | 200 Gb/s | QSFP56 | 1:2 分支為 HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | 交換機上為 OSFP 雙端口(每模組 2 × 400G);HCA 上為 OSFP 或 QSFP112 | 每個交換機籠子 800G |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 每個交換機籠子 1.6T |
封裝形式詳情:QSFP28、 QSFP56、OSFP、 QSFP112。
傳輸距離等級
| 介質 | QDR | FDR | EDR | HDR | NDR | 說明 |
|---|---|---|---|---|---|---|
| 無源 DAC | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1.5–2 m | 每一代傳輸距離都在縮短;更長距離需要更粗的線規 |
| 有源銅纜(ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | 帶電源的插頭;NDR 用帶重定時器的 AEC |
| AOC | ≤ 100 m(部分 300 m) | ≤ 100 m | ≤ 100 m | ≤ 100 m | 典型 ≤ 30–50 m | 850 nm VCSEL,內部為 MMF 帶狀光纖 |
| SR 類光模組(MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m(VR)/100 m(SR) | OM3/OM4,MPO |
| DR/FR 類光模組(SMF) | — | — | 500 m – 2 km(PSM4、CWDM4) | 500 m – 2 km | 500 m(DR4)/2 km(FR4) | MPO-12 APC(DR4)、雙工 LC(FR4) |
每種電纜內部結構:電纜內部結構。
NDR 雙端口與分支電纜
NDR 交換機籠子容納一個 雙端口 OSFP 模組 = 兩個獨立的 400G 端口,位於兩個 MPO-12/APC(或兩個 LC 雙工)插座之後。從一個模組出發的佈線選項:
| 配置 | 電纜 | 遠端 |
|---|---|---|
| 2 × 400G 直連 | 兩條 MPO-12 APC 主幹纜 | 兩個 400G NDR HCA 端口(OSFP 或 QSFP112)或另一台交換機 |
| 1:2 分支(800G → 2 × 400G) | Y 型電纜,一端為 OSFP,另兩端為 OSFP/QSFP112 | 兩個 HCA——標準的伺服器連接方式 |
| 1:4 分支(800G → 4 × 200G) | 一端為 OSFP,另四端為 QSFP56/QSFP112 | HDR 速率的 HCA(NDR200) |
| AOC 雙端口 | 一端為 OSFP 雙端口,另兩端為 OSFP/QSFP112 | 最長約 30–50 m |
| DAC 雙端口 | 一端為 OSFP,另兩端 | ≤ 1.5–2 m;較重——僅限機櫃內使用 |
每條分支都是一條獨立的鏈路,擁有各自的協商過程;交換機會看到兩個(或四個)端口。身份編碼必須在每一端都一致地描述整條組件(電纜內部結構)。
帶散熱片與平頂 OSFP
- 帶散熱片頂部的 OSFP——為模組上方有開放氣流的交換機籠子集成散熱片。不適用於平頂籠子。
- 平頂 OSFP——用於 HCA 以及帶騎跨式散熱片的籠子。兩種籠子都適用,但在開放式交換機籠子中可能會發熱過高。
- HCA 上的 QSFP112 在 QSFP 封裝尺寸內共享 4 × 106 Gb/s 的 NDR 電氣介面; QSFP112 HCA 端口與來自 OSFP 交換機的分支電纜配對使用。
熱影響:功耗與熱管理。
機械規則
| 規則 | 原因 |
|---|---|
| 遵守彎曲半徑(DAC ≥ 直徑的 10 倍;AOC/光纖 ≥ 30 mm) | 擠壓雙絞銅線 → 通道錯誤;光纖彎折 → 接收損耗 |
| 支撐電纜重量——雙端口 DAC 很重 | 拉扯籠子、接觸不良、槳卡開裂 |
| 每個 MPO 的有針/無針與 APC | 拆分與 MPO 佈線 |
| 插入前清潔並檢查每個 MPO | 一粒微塵會使某通道損耗增加 1–3 dB |
| 未使用的籠子和連接器保持防塵帽 | 污染是通道故障的首要原因 |
| 走線遠離高溫排風 | AOC 引擎和 AEC 插頭會隨溫度老化 |
身份與廠商策略
主導廠商的 InfiniBand 交換機和 HCA 會依據受支援列表校驗電纜和光模組,並將其 電纜資訊(廠商、PN、SN、長度、技術類型)讀入光纖網絡管理器。未經校驗的電纜可能以降速鏈路運行或被標記;編碼長度或速率類別錯誤的電纜可能協商失敗。身份位元組是標準的 SFF-8636/CMIS 欄位加上 InfiniBand 速率聲明(合規代碼、 廠商鎖定)。
庫存管理實踐
- 在兩端都標注鏈路資訊(交換機/端口 ↔ 主機/端口);分支電纜需要為每條分支單獨標注。
- 在光纖網絡管理器或 CMDB 中記錄每條電纜的廠商、PN、SN 和長度;在到貨檢驗時從
mlxcables或 CodingBox 中提取這些數據。 - 按傳輸距離等級和連接器類型保留備件;NDR 雙端口和分支變體不能與普通 400G 互換。
- 部署前先老化新光模組(鏈路可靠性與監測)。
在 CodingBox 中
電纜兩端和光模組的讀取方式與其他模組相同:身份資訊包含電纜長度、技術類型和速率類別,AOC 和光模組提供逐通道 DDM,NDR 模組提供 CMIS 狀態(Check transceiver、DDM)。在安裝前讀取分支電纜的每一條分支,可以發現原本會以錯誤速率鏈路的不匹配端。
HCA 和網卡驅動如何校驗這些電纜,以及從主機端查看結果的工具:網卡上的光模組兼容性、網卡工具與診斷。