从光模块角度选型与开通交换机
光模块是交换机项目遭遇现实的地方:设备按端口数、特性和价格选定之后,一个"本应能用"的模块却不工作,上行笼子给不了 40 km 光模块所需的功率,风流方向和机柜相反,或者第一次软件升级就把一半链路 errdisable 了。本页是两份检查清单——选型时该核查光模块的哪些方面,以及从开箱到 DDM 基线如何完成开局——外加一项验收测试,能在用户发现之前找出临界链路。
选型标准
| 标准 | 需要回答的问题 | 答案在哪里 |
|---|
| 端口数量与速率 | 需要多少下行链路、什么速率,多少上行链路,未来 3–5 年的增长空间 | 设计(角色与拓扑) |
| 超订比 | 该业务流量能接受的下行÷上行容量比 | 端口与上行链路 |
| 笼子代际 | SFP28 与 SFP56、QSFP28 与 QSFP-DD/OSFP;笼子接受哪些旧型号模块 | 端口类型与笼子 |
| 速率与拆分规则 | 端口组、哪些端口支持拆分、SFP+ 笼子对 1G 的支持、QSA | 硬件安装手册 |
| 光模块策略 | 严格 OEM、名单校验、宽松放行;是否有文档记录的覆盖方式;升级的影响 | 各操作系统如何校验模块 |
| 支持的光模块列表 | 所需的 PMD(LR、ER、BiDi、CWDM、可调谐 DWDM、100G ZR)是否在平台列表上 | 兼容性矩阵 |
| 笼子功率预算 | 每端口的功率等级;对 ZR/可调谐/10GBASE-T SFP+ 的支持 | 功耗 |
| 风流方向 | 端口侧进风还是出风的 SKU 是否与机柜匹配 | 交换机类型 |
| 环境条件 | 环境温度范围;是否需要工业级 | 温度等级 |
| 转发特性 | L2/L3、VXLAN/EVPN、MLAG,面向存储/AI 的 PFC/ECN | 转发基础知识 |
| 堆叠 / 配对 | 堆叠线缆还是前面板 VCP;被占用的 MLAG 对等链路端口 | 堆叠与 MLAG |
| 管理 | 带外端口、console 类型、API、DDM 遥测、SNMP MIB | 管理与监测 |
| 软件生命周期 | 发布节奏、LTS 系列、ISSU、停止支持日期 | 厂商生命周期页面 |
| 支持模式 | 厂商对第三方光模块的支持范围;TAC 的立场 | 合同 |
| 总成本 | 交换机 + 许可证 + 光模块(100G 及以上时常占端口成本的 30–60%) + 电力 + 备件 | 物料清单 |
| 冗余 | 电源、风扇、主控;上行链路使用不同模块 | 交换机类型 |
光模块物料清单
| 项目 | 计数规则 |
|---|
| 下行 DAC/AOC | 每个服务器端口一条,长度按机柜位置选择(1/2/3 m) |
| 上行模块 | 2 ×(每台交换机的上行链路数)——两端都要 |
| 拆分线缆 | 按拆分端口数量;并行光模块需要 MPO 主干和盒式配线(拆分与 MPO) |
| 堆叠/对等链路线缆 | 按对或按环计算 |
| 管理 | 每台交换机一条 1G 铜缆或 LX,连到带外网络 |
| 备件 | 每种型号 5–10%,至少各备 2 个;长交期物料(ER、DWDM)备货更多 |
| 清洁与测试 | 一键清洁笔、检测显微镜、光源/功率计、每种型号一个参考模块 |
开局检查清单
- 开箱检查——序列号、电源、风扇模块、风流方向 SKU、上行模块;给面板拍照。
- 清点光模块——在工作台上读取每个模块(厂商、料号、序列号、日期、合规信息、功率等级、固件),并对照计划安装的端口做好记录(检测光模块、代码数据库)。
- 接入 console——在带外端口和 VRF 上设置管理 IP、凭据、NTP、syslog、SNMP/遥测目标(管理与监测)。
- 软件——在配置端口之前先升级到目标版本;阅读发行说明中关于光模块的条目(兼容性矩阵与固件)。
- 策略命令——如果设备需要,配置
service unsupported-transceiver / allow-unsupported-transceiver / transceiver phony-alarm-disable;以及 errdisable 恢复。 - 端口配置——速率、FEC、自动协商(DAC 开启,光模块关闭)、拆分映射、描述、LAG/MLAG 成员关系(端口配置速查)。
- 插入模块——清洁每个连接器,打开扳手后插入,听到卡扣声;双排笼子上的 DAC/AOC 拉环按手册说明向上拔出。
- 逐端口验证——模块被识别、类型字符串正确、链路以预期速率 up、FEC 计数器为零(在交换机上验证光模块)。
- 建立 DDM 基线——记录每个端口的 Rx/Tx 功率、偏置电流、温度("链路档案");将 Rx 与预算比较(监测、Rx 功率与链路预算)。
- 验收测试——见下文。
- 归档记录——端口图、带序列号的光模块清单、线缆编号、照片、配置备份;线缆两端都要贴标签。
- 现场备件——存放在防静电袋中,盖好防尘帽。
验收测试
| 测试 | 方法 | 通过标准 |
|---|
| 链路稳定性 | 监测 carrier-transitions / 闪断计数器 24 小时 | 零闪断 |
| 无错误 | 24 小时流量后的 CRC/FCS 和 FEC 不可纠正计数器 | 不可纠正错误为零;已纠正的 FEC 保持稳定、不持续上升 |
| 吞吐量 | 在每条上行链路(或固定到某个 LAG 成员)上用 iperf/TRex 测试主机间流量 | ≥ 线速的 95% |
| 功率余量 | 每条链路的 Rx 功率相对灵敏度 | ≥ 3 dB 余量(MMF 上的 SR ≥ 2 dB) |
| 温度 | 满转速和正常转速下的模块 DDM 温度 | 低于高温预警,余量 ≥ 10 °C |
| 故障切换 | 拔掉一条上行链路 / 一个电源 / 一条堆叠线缆 | 流量继续、告警触发、恢复干净 |
| 冗余路径检查 | 关闭一个 MLAG 对等体 / spine | ECMP/LAG 在设计时间内重新收敛 |
| 管理 | SNMP 遍历光模块对象、遥测订阅、syslog 接收 | 每个端口都有数据到达 |
常见的开局错误
| 错误 | 后果 | 解决办法 |
|---|
| 在软件升级之前配置端口 | 升级时策略或语法发生变化 | 先升级 |
| 同一机柜列混用不同风流方向的 SKU | 方向反了的设备光模块过热 | 订购匹配的 SKU |
| 4 类功率笼子中插入 40 km / ZR 模块 | 模块停留在低功耗状态 | 检查功率预算(电源与热管理) |
| 光模块开着自动协商,DAC 关着 | 电平正常但链路不通 | FEC 与自动协商 |
| 插入前未清洁 | 从第一天起 Rx 就处于临界值 | 清洁并检测 |
| 第三方光模块未在该平台/版本上测试过 | 周五突然 errdisable | 先各测试一个(第三方光模块) |
| 没有 DDM 基线 | 后续劣化无法察觉 | 记录链路档案 |
| 线缆未贴标签、拆分子端口未记录 | 每次故障排查都浪费数小时 | 贴标签并记录(端口命名与指示灯) |
在 CodingBox 中
开局清单的第 2 步就是工作台环节:在模块上架之前逐一读取,既能生成清单、发现错误的 PMD 和贴错标签的部件,也是——在平台要求时——对身份信息进行编码的时机,从而让第 8 步一次通过(检测光模块、EEPROM 编辑器)。
光纤链路本身的验收测试——用 LSPM 测插入损耗、OTDR 曲线、回波损耗、端面检测和认证标准: 测试与测量。