带光口网卡概述
每条服务器链路的另一端都是网卡(NIC),它玩的是和交换机一样的游戏——笼子、 SerDes 通道、连到模块的管理总线、决定接受哪些模块的策略——只是有两点不同:策略存在于驱动里,而不是网络操作系统里;瓶颈往往在 PCIe 总线,而不在端口本身。本节讲述带 SFP/QSFP 类笼子的网卡:系列与厂商、端口与 PCIe 的关系、光模块兼容性及其驱动层面的绕过方式、从服务器侧读取模块的工具,以及让板卡和交换机之间界限变得模糊的可编程适配器(SmartNIC、DPU)。

从光模块的角度看,网卡是什么
| 元素 | 在交换机上 | 在网卡上 |
|---|
| 笼子 | 每台设备 24–64 个 | 每张网卡 1–4 个(常见 1–2 个) |
| SerDes | 转发 ASIC | 网卡控制器 ASIC(Intel E810、Broadcom BCM57508、Nvidia ConnectX-7……) |
| 模块管理 | 网络操作系统通过 I²C mux 和 CPLD | 驱动/固件通过控制器的 I²C |
| 策略 | 网络操作系统白名单(各 NOS 如何校验模块) | 驱动/固件白名单(网卡上的光模块兼容性) |
| 速率/FEC 配置 | CLI | ethtool、厂商工具、BIOS/UEFI、操作系统设备管理器(工具) |
| 回传 | fabric ASIC | 到 CPU 的 PCIe 通道(端口与 PCIe) |
| 供电 | 机箱为每个笼子提供 3.3 V | PCIe 插槽(25–75 W),高端网卡还有辅助电源接口 |
网卡的封装形式
| 卡类型 | 位置 | 端口 |
|---|
| PCIe 插卡(半高半长、全高) | 服务器任意插槽 | 1–2 × SFP28/QSFP28,1–2 × QSFP56/QSFP112/QSFP-DD/OSFP |
| OCP NIC 3.0(SFF / LFF mezzanine) | 服务器后部的 OCP 插槽 | 笼子相同,可从前面板接触,部分机箱支持热插拔 |
| LOM / 板载 | 主板上 | 通常是 RJ45;部分是 SFP+ |
| Mezzanine / 刀片 | 刀片服务器 | 连接刀片机箱交换机,没有笼子 |
| SmartNIC / DPU | PCIe 或 OCP | 2 × 100/200/400G,自带 Arm 核心(SmartNIC 与 DPU) |
系列与厂商
| 厂商 | 系列(光口型号) | 速率 | 笼子 | 驱动程序(Linux) |
|---|
| Intel | X520 / X710 / XXV710 / E810 / E830 | 10G / 10G / 25G / 25–100G / 200G | SFP+、SFP28、QSFP28、QSFP56 | ixgbe、i40e、ice、idpf |
| Nvidia(Mellanox) | ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC | 25G / 100G / 100–200G / 25–50G / 200–400G / 800G | SFP28、QSFP28、QSFP56、QSFP112、OSFP | mlx5_core |
| Broadcom | NetXtreme-E BCM5741x / 5750x(P225、P425、P2100、P1400GD) | 25G / 100–200G / 400G | SFP28、QSFP56、QSFP-DD | bnxt_en |
| Marvell(QLogic) | FastLinQ 41000 / 45000 | 10–25G / 100G | SFP28、QSFP28 | qede |
| AMD(Solarflare、Pensando) | X2522 / X3522;Pensando DSC | 10–25G;100–200G | SFP28;QSFP56 | sfc;ionic |
| Chelsio | T6 | 10–100G | SFP28、QSFP28 | cxgb4 |
| 其他 | Silicom、Napatech(FPGA)、Xilinx/AMD Alveo、Netronome | 10–100G | 混合 | — |
每种型号的速率由控制器和笼子固定下来;“支持 25G”通常意味着 10G 和 25G,很少包括 1G(端口与 PCIe)。
网卡对模块的要求
- 合规代码:与该笼子上控制器支持的速率相符。
- 身份信息:驱动能接受——Intel 系列检查最严格(网卡上的光模块兼容性)。
- FEC/AN 行为:驱动能匹配——25G 及以上的 DAC 要求两端都启用 Clause 73 AN;光模块需要强制速率并匹配 FEC(FEC & AN)。
- 功率等级:不超过网卡笼子的预算——多数网卡允许 QSFP28 4 级(3.5 W), QSFP-DD 最高 12–15 W;ZR/可调谐模块要单独核实(功耗)。
- 散热:服务器气流从前到后穿过网卡;朝向机箱后部的网卡上,模块处于排风气流中(温度等级)。
典型角色及其光模块
| 角色 | NIC | 链路 |
|---|
| 通用虚拟化主机 | 2 × 25G SFP28 | 到 ToR 的 DAC(角色与拓扑) |
| 存储 / NVMe-oF | 2 × 100G QSFP28 | DAC/AOC,带 PFC 的 RoCE(无损以太网) |
| GPU 服务器 | 4–8 × 400G OSFP/QSFP112(每 GPU 一个) | 到 rail leaf 的 AOC/DR4(AI 集群布线) |
| HPC | InfiniBand HCA,1–2 × NDR/XDR | DAC/AOC(IB 线缆) |
| 边缘 / 分支 | 2 × 10G SFP+ | 到园区核心的 LR |
| 管理 / 带外 | 1G RJ45 或 SFP | — |
延伸阅读
- 网卡端口、速率与 PCIe 带宽 ——网卡上的笼子、双速率、拆分线缆、PCIe 代数 × 通道数与端口总数的关系、OCP 3.0、功耗与散热。
- 网卡上的光模块兼容性 ——各厂商的驱动白名单、Intel 的
allow_unsupported_sfp、Windows/ESXi 的行为、DAC 与光模块的 FEC/AN、需要编码的内容。 - NIC 工具与诊断 ——
ethtool -m、 mlxlink、bnxtnvm、Intel 工具、Windows 和 ESXi 命令,从服务器读取 DDM 和 FEC 计数器。 - SmartNIC 与 DPU ——BlueField、Pensando、 IPU:可编程适配器上的端口与光模块。
在 CodingBox 中
网卡拒绝的模块,诊断方式与交换机拒绝的模块相同:在工作台上读取身份和合规代码,与驱动的清单对比,若策略要求就进行编码(Check transceiver、 厂商锁定)。