交换机角色与拓扑:光模块各自的位置
同样是 100G,在一个机柜内它可能是廉价的 DAC,跨房间时是 SR4,楼宇之间是 LR4,城市之间则是 DWDM 信道。一个端口最终用哪一种,取决于交换机在网络中的角色和周围的拓扑。本页把经典的园区分层和数据中心 leaf-spine 映射到对应的光模块、距离和数量上,这样就能直接从设计图中读出物料清单。
园区:接入、汇聚、核心
| 层级 | 角色 | 典型端口 | 下行链路 | 上行链路与光模块 |
|---|---|---|---|---|
| 接入层 | 连接终端设备 | 24–48 × RJ45(1G/多千兆,PoE)+ 2–4 个 SFP+/SFP28 上行 | 铜缆 | 10G/25G SR(楼内 MMF)、LR(楼宇之间)、有时用 1G LX |
| 汇聚层 | 按楼宇或楼层组汇聚接入交换机 | 24–48 × SFP+/SFP28,4–8 × QSFP28 | 10G/25G SR/LR | 40G/100G SR4/LR4 连到核心;光纤紧张时用 CWDM/DWDM |
| 核心层 | 互连汇聚层,负责路由 | QSFP28/QSFP-DD | 100G/400G | 站点间用 LR4/FR4/ER4;租用光纤上用 CWDM 或 DWDM |
| 收缩核心 | 小型站点:汇聚层和核心层合一 | 混合 | — | — |
园区内的距离从几米到几公里不等:楼内用 OM3/OM4 上的 SR,楼宇之间用单模上的 LR/LX;传输距离分类见PMD 参考。
数据中心:leaf-spine(Clos)
| 角色 | 别名 | 端口 | 下行链路 | 上行链路 |
|---|---|---|---|---|
| Leaf | ToR(架顶交换机)、接入层 | 48 × SFP28/SFP56 + 8 × QSFP28/QSFP-DD,或 32 × QSFP-DD | 服务器:25G/50G/100G——机柜内用 DAC(≤ 3 m),相邻机柜用 AOC/SR | 到每个 spine:100G/400G SR4/DR4/AOC(≤ 100 m) |
| Spine | 汇聚层、fabric | 32–64 × QSFP28/QSFP-DD/OSFP | leaf | 到 super-spine 或边界:DR4/FR4(500 m–2 km) |
| Super-spine / 核心 | pod 互连 | 高密度 400G/800G | spine | 园区内用 DR/FR;DCI 用 ZR/ZR+(相干长距) |
| 边界 leaf | 连到 WAN/互联网的边缘 | 混合 | — | 连到运营商用 LR/ER/CWDM/DWDM |
| 管理 | 带外 | 1G RJ45/SFP | BMC、console | 1G/10G LR 连到带外核心 |
经验法则:leaf-spine 链路速率和 FEC 全部一致;超订比(下行容量 ÷ 上行容量)在通用计算场景中常见为 3:1,AI 和存储场景为 1:1(GPU 组网)。
轨道优化的 AI 组网
GPU 节点的每块网卡都连到不同的 leaf,因此大多数服务器链路要离开机柜——使用 AOC 和光模块而不是 DAC——每块 GPU 在每个层级上对应一根线缆(AI 集群布线)。
存储与 SAN
光纤通道交换机组成自己的 fabric(edge-core 或 core-edge-core),机房内使用 16/32/64GFC 的 SW 光模块,机房之间使用 LW;以太网存储则搭乘 leaf-spine,并使用无损分类(SAN 设计、 无损以太网)。
距离 → 光模块
| 分段 | 距离 | 介质 | 光模块 |
|---|---|---|---|
| 服务器到 ToR | ≤ 3 m | 铜缆 | DAC(线缆内部结构) |
| 服务器到列端 leaf | 3–30 m | AOC 或 MMF | AOC、SR |
| Leaf 到 spine,同一机房 | 10–100 m | OM4 或 SMF | SR4/SR8、DR4/DR8 |
| 机房/楼宇之间 | 100 m – 2 km | SMF | DR、FR4、LR/LX |
| 园区/城域 | 2–40 km | SMF | LR、ER、CWDM、4WDM |
| 区域级 DCI | 40–120 km | SMF,放大 | ZR/ZR+、DWDM 转发器 |
| 长途干线 | > 120 km | SMF,放大 | DWDM 线路系统(网络设计与 OTN) |
光纤资源紧张的路径使用 CWDM 或 DWDM 在单芯光纤上倍增容量;只有一根光纤时使用单纤 BiDi。
根据设计统计光模块数量
示例:一个 pod 有 16 个机柜,每机柜 32 台服务器,每台服务器 2 × 25G,4 个 spine。
| 项目 | 数量 |
|---|---|
| 服务器链路(2 × 25G × 32 × 16) | 1 024 条 DAC |
| Leaf 上行链路(16 个 leaf × 4 个 spine × 2 × 100G) | 128 条链路 → 256 个 QSFP28 SR4/DR4 + 128 条 MPO 主干 |
| Spine 到 super-spine(4 个 spine × 8 × 100G) | 32 条链路 → 64 个模块 |
| 边界 + 带外 | 8–16 个 LR 模块,48 个 1G |
| 备件(5%) | 约 20 个 |
如果设计是双平面,第二套 fabric 需要再乘以二。
角色与策略
角色还决定了平台对光模块的严格程度:运营商和 SAN 设备往往强制要求 OEM 品牌;使用商用芯片的数据中心 leaf-spine 通常比较宽松;园区接入层则因厂商而异(各操作系统如何校验模块、 厂商锁定)。
在 CodingBox 中
基于角色的物料清单其实是一份 PMD 和料号列表;CodingBox 会对照它校验每个到货模块(类型、传输距离、波长、料号),并在设计要求 OEM 兼容模块时对身份信息进行编码(检测光模块、代码数据库)。
把设计变成采购清单和实际运行的机柜——选型标准、光模块物料清单、开局检查清单和验收测试: 选型与开局;这些拓扑背后的二层/三层机制: 转发基础知识。
这些拓扑之下的布线——结构化布线层级、数据中心模式(EoR、MoR、ToR、主干与盒式配线)、光纤芯数规划:光纤网络拓扑。