從光模組角度選購及開通交換機
光模組是交換機項目遭遇現實的地方:設備按端口數、特性和價格選定之後,一個「本應能用」的模組卻不工作,上行籠子給不了 40 km 光模組所需的功率,風流方向和機櫃相反,或者第一次軟件升級就把一半鏈路 errdisable 了。本頁是兩份檢查清單——選型時該核查光模組的哪些方面,以及從開箱到 DDM 基線如何完成開局——外加一項驗收測試,能在用戶發現之前找出臨界鏈路。
選型標準
| 標準 | 需要回答的問題 | 答案在哪裏 |
|---|
| 端口數量與速率 | 需要多少下行鏈路、甚麼速率,多少上行鏈路,未來 3–5 年的增長空間 | 設計(角色與拓撲) |
| 超訂比 | 該業務流量能接受的下行÷上行容量比 | 端口與上行鏈路 |
| 籠子代際 | SFP28 與 SFP56、QSFP28 與 QSFP-DD/OSFP;籠子接受哪些舊型號模組 | 端口類型與籠子 |
| 速率與拆分規則 | 端口組、哪些端口支援拆分、SFP+ 籠子對 1G 的支援、QSA | 硬件安裝手冊 |
| 光模組策略 | 嚴格 OEM、名單校驗、寬鬆放行;是否有文件記錄的覆蓋方式;升級的影響 | 各作業系統如何校驗模組 |
| 支援的光模組列表 | 所需的 PMD(LR、ER、BiDi、CWDM、可調諧 DWDM、100G ZR)是否在平台列表上 | 兼容性矩陣 |
| 籠子功率預算 | 每端口的功率等級;對 ZR/可調諧/10GBASE-T SFP+ 的支援 | 功耗 |
| 風流方向 | 端口側進風還是出風的 SKU 是否與機櫃匹配 | 交換機類型 |
| 環境條件 | 環境溫度範圍;是否需要工業級 | 溫度等級 |
| 轉發特性 | L2/L3、VXLAN/EVPN、MLAG,面向儲存/AI 的 PFC/ECN | 轉發基礎知識 |
| 堆疊 / 配對 | 堆疊線纜還是前面板 VCP;被佔用的 MLAG 對等鏈路端口 | 堆疊與 MLAG |
| 管理 | 帶外端口、console 類型、API、DDM 遙測、SNMP MIB | 管理與監測 |
| 軟件生命週期 | 發佈節奏、LTS 系列、ISSU、停止支援日期 | 廠商生命週期頁面 |
| 支援模式 | 廠商對第三方光模組的支援範圍;TAC 的立場 | 合約 |
| 總成本 | 交換機 + 許可證 + 光模組(100G 及以上時常佔端口成本的 30–60%) + 電力 + 備件 | 物料清單 |
| 冗餘 | 電源、風扇、主控;上行鏈路使用不同模組 | 交換機類型 |
光模組物料清單
| 項目 | 計數規則 |
|---|
| 下行 DAC/AOC | 每個伺服器端口一條,長度按機櫃位置選擇(1/2/3 m) |
| 上行模組 | 2 ×(每台交換機的上行鏈路數)——兩端都要 |
| 拆分線纜 | 按拆分端口數量;並行光模組需要 MPO 主幹和盒式配線(拆分與 MPO) |
| 堆疊/對等鏈路線纜 | 按對或按環計算 |
| 管理 | 每台交換機一條 1G 銅纜或 LX,連到帶外網絡 |
| 備件 | 每種型號 5–10%,至少各備 2 個;長交期物料(ER、DWDM)備貨更多 |
| 清潔與測試 | 一鍵清潔筆、檢測顯微鏡、光源/功率計、每種型號一個參考模組 |
開局檢查清單
- 開箱檢查——序號、電源、風扇模組、風流方向 SKU、上行模組;給面板拍照。
- 清點光模組——在工作台上讀取每個模組(廠商、料號、序號、日期、合規資訊、功率等級、固件),並對照計劃安裝的端口做好記錄(檢測光模組、代碼資料庫)。
- 接入 console——在帶外端口和 VRF 上設定管理 IP、憑據、NTP、syslog、SNMP/遙測目標(管理與監測)。
- 軟件——在配置端口之前先升級到目標版本;閱讀發行說明中關於光模組的條目(兼容性矩陣與固件)。
- 策略命令——如果設備需要,配置
service unsupported-transceiver / allow-unsupported-transceiver / transceiver phony-alarm-disable;以及 errdisable 恢復。 - 端口配置——速率、FEC、自動協商(DAC 開啟,光模組關閉)、拆分映射、描述、LAG/MLAG 成員關係(端口配置速查)。
- 插入模組——清潔每個連接器,打開扳手後插入,聽到卡扣聲;雙排籠子上的 DAC/AOC 拉環按手冊說明向上拔出。
- 逐端口驗證——模組被識別、類型字元串正確、鏈路以預期速率 up、FEC 計數器為零(在交換機上驗證光模組)。
- 建立 DDM 基線——記錄每個端口的 Rx/Tx 功率、偏置電流、溫度(「鏈路檔案」);將 Rx 與預算比較(監測、Rx 功率與鏈路預算)。
- 驗收測試——見下文。
- 歸檔記錄——端口圖、帶序號的光模組清單、線纜編號、照片、配置備份;線纜兩端都要貼標籤。
- 現場備件——存放在防靜電袋中,蓋好防塵帽。
驗收測試
| 測試 | 方法 | 通過標準 |
|---|
| 鏈路穩定性 | 監測 carrier-transitions / 閃斷計數器 24 小時 | 零閃斷 |
| 無錯誤 | 24 小時流量後的 CRC/FCS 和 FEC 不可糾正計數器 | 不可糾正錯誤為零;已糾正的 FEC 保持穩定、不持續上升 |
| 吞吐量 | 在每條上行鏈路(或固定到某個 LAG 成員)上用 iperf/TRex 測試主機間流量 | ≥ 線速的 95% |
| 功率餘量 | 每條鏈路的 Rx 功率相對靈敏度 | ≥ 3 dB 餘量(MMF 上的 SR ≥ 2 dB) |
| 溫度 | 滿轉速和正常轉速下的模組 DDM 溫度 | 低於高溫警告,餘量 ≥ 10 °C |
| 故障切換 | 拔掉一條上行鏈路 / 一個電源 / 一條堆疊線纜 | 流量繼續、警報觸發、恢復乾淨 |
| 冗餘路徑檢查 | 關閉一個 MLAG 對等體 / spine | ECMP/LAG 在設計時間內重新收斂 |
| 管理 | SNMP 遍歷光模組對象、遙測訂閱、syslog 接收 | 每個端口都有數據到達 |
常見的開局錯誤
| 錯誤 | 後果 | 解決辦法 |
|---|
| 在軟件升級之前配置端口 | 升級時策略或語法發生變化 | 先升級 |
| 同一機櫃列混用不同風流方向的 SKU | 方向反了的設備光模組過熱 | 訂購匹配的 SKU |
| 4 類功率籠子中插入 40 km / ZR 模組 | 模組停留在低功耗狀態 | 檢查功率預算(電源與熱管理) |
| 光模組開著自動協商,DAC 關著 | 電平正常但鏈路不通 | FEC 與自動協商 |
| 插入前未清潔 | 從第一天起 Rx 就處於臨界值 | 清潔並檢測 |
| 第三方光模組未在該平台/版本上測試過 | 週五突然 errdisable | 先各測試一個(第三方光模組) |
| 沒有 DDM 基線 | 後續劣化無法察覺 | 記錄鏈路檔案 |
| 線纜未貼標籤、拆分子端口未記錄 | 每次故障排查都浪費數小時 | 貼標籤並記錄(端口命名與指示燈) |
在 CodingBox 中
開局清單的第 2 步就是工作台環節:在模組上架之前逐一讀取,既能生成清單、發現錯誤的 PMD 和貼錯標籤的部件,也是——在平台要求時——對身份資訊進行編碼的時機,從而讓第 8 步一次通過(檢測光模組、EEPROM 編輯器)。
光纖鏈路本身的驗收測試——用 LSPM 測插入損耗、OTDR 曲線、回波損耗、端面檢查和認證標準: 測試與測量。