CodingBox 說明文件

配備光纖端口的網卡概覽

每條伺服器鏈路的另一端都是網卡（NIC），它玩的是和交換機一樣的遊戲——籠子、 SerDes 通道、連到模組的管理總線、決定接受哪些模組的策略——只是有兩點不同：策略存在於驅動裏，而不是網絡作業系統裏；瓶頸往往在 PCIe 總線，而不在端口本身。本節講述帶 SFP/QSFP 類籠子的網卡：系列與廠商、端口與 PCIe 的關係、光模組兼容性及其驅動層面的繞過方式、從伺服器側讀取模組的工具，以及讓板卡和交換機之間界限變得模糊的可編程適配器（SmartNIC、DPU）。

伺服器路徑：CPU、PCIe、網卡控制器與驅動、籠子、模組或 DAC、交換機端口

從光模組的角度看，網卡是甚麼

元素在交換機上在網卡上
籠子每台設備 24–64 個每張網卡 1–4 個（常見 1–2 個）
SerDes轉發 ASIC網卡控制器 ASIC（Intel E810、Broadcom BCM57508、Nvidia ConnectX-7……）
模組管理網絡作業系統通過 I²C mux 和 CPLD驅動/固件通過控制器的 I²C
策略網絡作業系統白名單（各 NOS 如何校驗模組）驅動/固件白名單（網卡上的光模組兼容性）
速率/FEC 配置CLIethtool、廠商工具、BIOS/UEFI、作業系統設備管理器（工具）
回傳fabric ASIC到 CPU 的 PCIe 通道（端口與 PCIe）
供電機箱為每個籠子提供 3.3 VPCIe 插槽（25–75 W），高端網卡還有輔助電源介面

網卡的封裝形式

卡類型位置端口
PCIe 插卡（半高半長、全高）伺服器任意插槽1–2 × SFP28/QSFP28，1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0（SFF / LFF mezzanine）伺服器後部的 OCP 插槽籠子相同，可從前面板接觸，部分機箱支援熱插拔
LOM / 板載主板上通常是 RJ45；部分是 SFP+
Mezzanine / 刀片刀片伺服器連接刀片機箱交換機，沒有籠子
SmartNIC / DPUPCIe 或 OCP2 × 100/200/400G，自帶 Arm 核心（SmartNIC 與 DPU）

系列與廠商

廠商系列（光口型號）速率籠子驅動程式（Linux）
IntelX520 / X710 / XXV710 / E810 / E83010G / 10G / 25G / 25–100G / 200GSFP+、SFP28、QSFP28、QSFP56ixgbe、i40e、ice、idpf
Nvidia（Mellanox）ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC25G / 100G / 100–200G / 25–50G / 200–400G / 800GSFP28、QSFP28、QSFP56、QSFP112、OSFPmlx5_core
BroadcomNetXtreme-E BCM5741x / 5750x（P225、P425、P2100、P1400GD）25G / 100–200G / 400GSFP28、QSFP56、QSFP-DDbnxt_en
Marvell（QLogic）FastLinQ 41000 / 4500010–25G / 100GSFP28、QSFP28qede
AMD（Solarflare、Pensando）X2522 / X3522；Pensando DSC10–25G；100–200GSFP28；QSFP56sfc；ionic
ChelsioT610–100GSFP28、QSFP28cxgb4
其他Silicom、Napatech（FPGA）、Xilinx/AMD Alveo、Netronome10–100G混合—

每種型號的速率由控制器和籠子固定下來；「支援 25G」通常意味著 10G 和 25G，很少包括 1G（端口與 PCIe）。

網卡對模組的要求

  • 合規代碼：與該籠子上控制器支援的速率相符。
  • 身份資訊：驅動能接受——Intel 系列檢查最嚴格（網卡上的光模組兼容性）。
  • FEC/AN 行為：驅動能匹配——25G 及以上的 DAC 要求兩端都啟用 Clause 73 AN；光模組需要強制速率並匹配 FEC（FEC & AN）。
  • 功率等級：不超過網卡籠子的預算——多數網卡允許 QSFP28 4 級（3.5 W）， QSFP-DD 最高 12–15 W；ZR/可調諧模組要單獨核實（功耗）。
  • 散熱：伺服器氣流從前到後穿過網卡；朝向機箱後部的網卡上，模組處於排風氣流中（溫度等級）。

典型角色及其光模組

角色NIC鏈路
通用虛擬化主機2 × 25G SFP28到 ToR 的 DAC（角色與拓撲）
儲存 / NVMe-oF2 × 100G QSFP28DAC/AOC，帶 PFC 的 RoCE（無損以太網）
GPU 伺服器4–8 × 400G OSFP/QSFP112（每 GPU 一個）到 rail leaf 的 AOC/DR4（AI 集群佈線）
HPCInfiniBand HCA，1–2 × NDR/XDRDAC/AOC（IB 線纜）
邊緣 / 分支2 × 10G SFP+到園區核心的 LR
管理 / 帶外1G RJ45 或 SFP—

延伸閱讀

  • 網卡端口、速率與 PCIe 頻寬 ——網卡上的籠子、雙速率、拆分線纜、PCIe 代數 × 通道數與端口總數的關係、OCP 3.0、功耗與散熱。
  • 網卡上的光模組兼容性 ——各廠商的驅動白名單、Intel 的 allow_unsupported_sfp、Windows/ESXi 的行為、DAC 與光模組的 FEC/AN、需要編碼的內容。
  • NIC 工具與診斷 ——ethtool -m、 mlxlink、bnxtnvm、Intel 工具、Windows 和 ESXi 命令，從伺服器讀取 DDM 和 FEC 計數器。
  • SmartNIC 與 DPU ——BlueField、Pensando、 IPU：可編程適配器上的端口與光模組。

在 CodingBox 中

網卡拒絕的模組，診斷方式與交換機拒絕的模組相同：在工作台上讀取身份和合規代碼，與驅動的清單對比，若策略要求就進行編碼（Check transceiver、 廠商鎖定）。

如果您發現本文有不準確之處或錯誤，請選取相應片段並按 Ctrl+Enter，即可。