交换机角色与拓扑:光模块各自的位置 · 交换机基础 · 网卡与交换机 · 文档 · CodingBox
CodingBox 文档

交换机角色与拓扑:光模块各自的位置

同样是 100G,在一个机柜内它可能是廉价的 DAC,跨房间时是 SR4,楼宇之间是 LR4,城市之间则是 DWDM 信道。一个端口最终用哪一种,取决于交换机在网络中的角色和周围的拓扑。本页把经典的园区分层和数据中心 leaf-spine 映射到对应的光模块、距离和数量上,这样就能直接从设计图中读出物料清单。

园区三层架构与数据中心 leaf-spine,标注每条链路上的光模块

园区:接入、汇聚、核心

层级角色典型端口下行链路上行链路与光模块
接入层连接终端设备24–48 × RJ45(1G/多千兆,PoE)+ 2–4 个 SFP+/SFP28 上行铜缆10G/25G SR(楼内 MMF)、LR(楼宇之间)、有时用 1G LX
汇聚层按楼宇或楼层组汇聚接入交换机24–48 × SFP+/SFP28,4–8 × QSFP2810G/25G SR/LR40G/100G SR4/LR4 连到核心;光纤紧张时用 CWDM/DWDM
核心层互连汇聚层,负责路由QSFP28/QSFP-DD100G/400G站点间用 LR4/FR4/ER4;租用光纤上用 CWDM 或 DWDM
收缩核心小型站点:汇聚层和核心层合一混合——

园区内的距离从几米到几公里不等:楼内用 OM3/OM4 上的 SR,楼宇之间用单模上的 LR/LX;传输距离分类见PMD 参考。

数据中心:leaf-spine(Clos)

角色别名端口下行链路上行链路
LeafToR(架顶交换机)、接入层48 × SFP28/SFP56 + 8 × QSFP28/QSFP-DD,或 32 × QSFP-DD服务器:25G/50G/100G——机柜内用 DAC(≤ 3 m),相邻机柜用 AOC/SR到每个 spine:100G/400G SR4/DR4/AOC(≤ 100 m)
Spine汇聚层、fabric32–64 × QSFP28/QSFP-DD/OSFPleaf到 super-spine 或边界:DR4/FR4(500 m–2 km)
Super-spine / 核心pod 互连高密度 400G/800Gspine园区内用 DR/FR;DCI 用 ZR/ZR+(相干长距)
边界 leaf连到 WAN/互联网的边缘混合—连到运营商用 LR/ER/CWDM/DWDM
管理带外1G RJ45/SFPBMC、console1G/10G LR 连到带外核心

经验法则:leaf-spine 链路速率和 FEC 全部一致;超订比(下行容量 ÷ 上行容量)在通用计算场景中常见为 3:1,AI 和存储场景为 1:1(GPU 组网)。

轨道优化的 AI 组网

GPU 节点的每块网卡都连到不同的 leaf,因此大多数服务器链路要离开机柜——使用 AOC 和光模块而不是 DAC——每块 GPU 在每个层级上对应一根线缆(AI 集群布线)。

存储与 SAN

光纤通道交换机组成自己的 fabric(edge-core 或 core-edge-core),机房内使用 16/32/64GFC 的 SW 光模块,机房之间使用 LW;以太网存储则搭乘 leaf-spine,并使用无损分类(SAN 设计、 无损以太网)。

距离 → 光模块

分段距离介质光模块
服务器到 ToR≤ 3 m铜缆DAC(线缆内部结构)
服务器到列端 leaf3–30 mAOC 或 MMFAOC、SR
Leaf 到 spine,同一机房10–100 mOM4 或 SMFSR4/SR8、DR4/DR8
机房/楼宇之间100 m – 2 kmSMFDR、FR4、LR/LX
园区/城域2–40 kmSMFLR、ER、CWDM、4WDM
区域级 DCI40–120 kmSMF,放大ZR/ZR+、DWDM 转发器
长途干线> 120 kmSMF,放大DWDM 线路系统(网络设计与 OTN)

光纤资源紧张的路径使用 CWDM 或 DWDM 在单芯光纤上倍增容量;只有一根光纤时使用单纤 BiDi。

根据设计统计光模块数量

示例:一个 pod 有 16 个机柜,每机柜 32 台服务器,每台服务器 2 × 25G,4 个 spine。

项目数量
服务器链路(2 × 25G × 32 × 16)1 024 条 DAC
Leaf 上行链路(16 个 leaf × 4 个 spine × 2 × 100G)128 条链路 → 256 个 QSFP28 SR4/DR4 + 128 条 MPO 主干
Spine 到 super-spine(4 个 spine × 8 × 100G)32 条链路 → 64 个模块
边界 + 带外8–16 个 LR 模块,48 个 1G
备件(5%)约 20 个

如果设计是双平面,第二套 fabric 需要再乘以二。

角色与策略

角色还决定了平台对光模块的严格程度:运营商和 SAN 设备往往强制要求 OEM 品牌;使用商用芯片的数据中心 leaf-spine 通常比较宽松;园区接入层则因厂商而异(各操作系统如何校验模块、 厂商锁定)。

在 CodingBox 中

基于角色的物料清单其实是一份 PMD 和料号列表;CodingBox 会对照它校验每个到货模块(类型、传输距离、波长、料号),并在设计要求 OEM 兼容模块时对身份信息进行编码(检测光模块、代码数据库)。

把设计变成采购清单和实际运行的机柜——选型标准、光模块物料清单、开局检查清单和验收测试: 选型与开局;这些拓扑背后的二层/三层机制: 转发基础知识。

这些拓扑之下的布线——结构化布线层级、数据中心模式(EoR、MoR、ToR、主干与盒式配线)、光纤芯数规划:光纤网络拓扑。


如果您发现本资料中有不准确之处或错误,请选中相应片段并按 Ctrl+Enter,即可。