交換機角色與拓撲:光模組各自裝在哪裏
同樣是 100G,在一個機櫃內它可能是廉價的 DAC,跨房間時是 SR4,樓宇之間是 LR4,城市之間則是 DWDM 信道。一個端口最終用哪一種,取決於交換機在網絡中的角色和周圍的拓撲。本頁把經典的園區分層和數據中心 leaf-spine 映射到對應的光模組、距離和數量上,這樣就能直接從設計圖中讀出物料清單。
園區:接入、匯聚、核心
| 層級 | 角色 | 典型端口 | 下行鏈路 | 上行鏈路與光模組 |
|---|---|---|---|---|
| 接入層 | 連接終端設備 | 24–48 × RJ45(1G/多千兆,PoE)+ 2–4 個 SFP+/SFP28 上行 | 銅纜 | 10G/25G SR(樓內 MMF)、LR(樓宇之間)、有時用 1G LX |
| 匯聚層 | 按樓宇或樓層組匯聚接入交換機 | 24–48 × SFP+/SFP28,4–8 × QSFP28 | 10G/25G SR/LR | 40G/100G SR4/LR4 連到核心;光纖緊張時用 CWDM/DWDM |
| 核心層 | 互連匯聚層,負責路由 | QSFP28/QSFP-DD | 100G/400G | 站點間用 LR4/FR4/ER4;租用光纖上用 CWDM 或 DWDM |
| 收縮核心 | 小型站點:匯聚層和核心層合一 | 混合 | — | — |
園區內的距離從幾米到幾公里不等:樓內用 OM3/OM4 上的 SR,樓宇之間用單模上的 LR/LX;傳輸距離分類見PMD 參考。
數據中心:leaf-spine(Clos)
| 角色 | 別名 | 端口 | 下行鏈路 | 上行鏈路 |
|---|---|---|---|---|
| Leaf | ToR(架頂交換機)、接入層 | 48 × SFP28/SFP56 + 8 × QSFP28/QSFP-DD,或 32 × QSFP-DD | 伺服器:25G/50G/100G——機櫃內用 DAC(≤ 3 m),相鄰機櫃用 AOC/SR | 到每個 spine:100G/400G SR4/DR4/AOC(≤ 100 m) |
| Spine | 匯聚層、fabric | 32–64 × QSFP28/QSFP-DD/OSFP | leaf | 到 super-spine 或邊界:DR4/FR4(500 m–2 km) |
| Super-spine / 核心 | pod 互連 | 高密度 400G/800G | spine | 園區內用 DR/FR;DCI 用 ZR/ZR+(相干長距) |
| 邊界 leaf | 連到 WAN/互聯網的邊緣 | 混合 | — | 連到營運商用 LR/ER/CWDM/DWDM |
| 管理 | 帶外 | 1G RJ45/SFP | BMC、console | 1G/10G LR 連到帶外核心 |
經驗法則:leaf-spine 鏈路速率和 FEC 全部一致;超訂比(下行容量 ÷ 上行容量)在通用計算場景中常見為 3:1,AI 和儲存場景為 1:1(GPU 組網)。
軌道優化的 AI 組網
GPU 節點的每塊網卡都連到不同的 leaf,因此大多數伺服器鏈路要離開機櫃——使用 AOC 和光模組而不是 DAC——每塊 GPU 在每個層級上對應一根線纜(AI 集群佈線)。
儲存與 SAN
光纖通道交換機組成自己的 fabric(edge-core 或 core-edge-core),機房內使用 16/32/64GFC 的 SW 光模組,機房之間使用 LW;以太網儲存則搭乘 leaf-spine,並使用無損分類(SAN 設計、 無損以太網)。
距離 → 光模組
| 分段 | 距離 | 介質 | 光模組 |
|---|---|---|---|
| 伺服器到 ToR | ≤ 3 m | 銅纜 | DAC(線纜內部結構) |
| 伺服器到列端 leaf | 3–30 m | AOC 或 MMF | AOC、SR |
| Leaf 到 spine,同一機房 | 10–100 m | OM4 或 SMF | SR4/SR8、DR4/DR8 |
| 機房/樓宇之間 | 100 m – 2 km | SMF | DR、FR4、LR/LX |
| 園區/城域 | 2–40 km | SMF | LR、ER、CWDM、4WDM |
| 區域級 DCI | 40–120 km | SMF,放大 | ZR/ZR+、DWDM 轉發器 |
| 長途幹線 | > 120 km | SMF,放大 | DWDM 線路系統(網絡設計與 OTN) |
光纖資源緊張的路徑使用 CWDM 或 DWDM 在單芯光纖上倍增容量;只有一根光纖時使用單纖 BiDi。
根據設計統計光模組數量
示例:一個 pod 有 16 個機櫃,每機櫃 32 台伺服器,每台伺服器 2 × 25G,4 個 spine。
| 項目 | 數量 |
|---|---|
| 伺服器鏈路(2 × 25G × 32 × 16) | 1 024 條 DAC |
| Leaf 上行鏈路(16 個 leaf × 4 個 spine × 2 × 100G) | 128 條鏈路 → 256 個 QSFP28 SR4/DR4 + 128 條 MPO 主幹 |
| Spine 到 super-spine(4 個 spine × 8 × 100G) | 32 條鏈路 → 64 個模組 |
| 邊界 + 帶外 | 8–16 個 LR 模組,48 個 1G |
| 備件(5%) | 約 20 個 |
如果設計是雙平面,第二套 fabric 需要再乘以二。
角色與策略
角色還決定了平台對光模組的嚴格程度:營運商和 SAN 設備往往強制要求 OEM 品牌;使用商用晶片的數據中心 leaf-spine 通常比較寬鬆;園區接入層則因廠商而異(各作業系統如何校驗模組、 廠商鎖定)。
在 CodingBox 中
基於角色的物料清單其實是一份 PMD 和料號列表;CodingBox 會對照它校驗每個到貨模組(類型、傳輸距離、波長、料號),並在設計要求 OEM 兼容模組時對身份資訊進行編碼(檢測光模組、代碼資料庫)。
把設計變成採購清單和實際運行的機櫃——選型標準、光模組物料清單、開局檢查清單和驗收測試: 選型與開局;這些拓撲背後的二層/三層機制: 轉發基礎知識。
這些拓撲之下的佈線——結構化佈線層級、數據中心模式(EoR、MoR、ToR、主幹與盒式配線)、光纖芯數規劃:光纖網絡拓撲。