带光口网卡概述 · 网卡 · 网卡与交换机 · 文档 · CodingBox
CodingBox 文档

带光口网卡概述

每条服务器链路的另一端都是网卡(NIC),它玩的是和交换机一样的游戏——笼子、 SerDes 通道、连到模块的管理总线、决定接受哪些模块的策略——只是有两点不同:策略存在于驱动里,而不是网络操作系统里;瓶颈往往在 PCIe 总线,而不在端口本身。本节讲述带 SFP/QSFP 类笼子的网卡:系列与厂商、端口与 PCIe 的关系、光模块兼容性及其驱动层面的绕过方式、从服务器侧读取模块的工具,以及让板卡和交换机之间界限变得模糊的可编程适配器(SmartNIC、DPU)。

服务器路径:CPU、PCIe、网卡控制器与驱动、笼子、模块或 DAC、交换机端口

从光模块的角度看,网卡是什么

元素在交换机上在网卡上
笼子每台设备 24–64 个每张网卡 1–4 个(常见 1–2 个)
SerDes转发 ASIC网卡控制器 ASIC(Intel E810、Broadcom BCM57508、Nvidia ConnectX-7……)
模块管理网络操作系统通过 I²C mux 和 CPLD驱动/固件通过控制器的 I²C
策略网络操作系统白名单(各 NOS 如何校验模块)驱动/固件白名单(网卡上的光模块兼容性)
速率/FEC 配置CLIethtool、厂商工具、BIOS/UEFI、操作系统设备管理器(工具)
回传fabric ASIC到 CPU 的 PCIe 通道(端口与 PCIe)
供电机箱为每个笼子提供 3.3 VPCIe 插槽(25–75 W),高端网卡还有辅助电源接口

网卡的封装形式

卡类型位置端口
PCIe 插卡(半高半长、全高)服务器任意插槽1–2 × SFP28/QSFP28,1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0(SFF / LFF mezzanine)服务器后部的 OCP 插槽笼子相同,可从前面板接触,部分机箱支持热插拔
LOM / 板载主板上通常是 RJ45;部分是 SFP+
Mezzanine / 刀片刀片服务器连接刀片机箱交换机,没有笼子
SmartNIC / DPUPCIe 或 OCP2 × 100/200/400G,自带 Arm 核心(SmartNIC 与 DPU)

系列与厂商

厂商系列(光口型号)速率笼子驱动程序(Linux)
IntelX520 / X710 / XXV710 / E810 / E83010G / 10G / 25G / 25–100G / 200GSFP+、SFP28、QSFP28、QSFP56ixgbe、i40e、ice、idpf
Nvidia(Mellanox)ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC25G / 100G / 100–200G / 25–50G / 200–400G / 800GSFP28、QSFP28、QSFP56、QSFP112、OSFPmlx5_core
BroadcomNetXtreme-E BCM5741x / 5750x(P225、P425、P2100、P1400GD)25G / 100–200G / 400GSFP28、QSFP56、QSFP-DDbnxt_en
Marvell(QLogic)FastLinQ 41000 / 4500010–25G / 100GSFP28、QSFP28qede
AMD(Solarflare、Pensando)X2522 / X3522;Pensando DSC10–25G;100–200GSFP28;QSFP56sfc;ionic
ChelsioT610–100GSFP28、QSFP28cxgb4
其他Silicom、Napatech(FPGA)、Xilinx/AMD Alveo、Netronome10–100G混合—

每种型号的速率由控制器和笼子固定下来;“支持 25G”通常意味着 10G 和 25G,很少包括 1G(端口与 PCIe)。

网卡对模块的要求

  • 合规代码:与该笼子上控制器支持的速率相符。
  • 身份信息:驱动能接受——Intel 系列检查最严格(网卡上的光模块兼容性)。
  • FEC/AN 行为:驱动能匹配——25G 及以上的 DAC 要求两端都启用 Clause 73 AN;光模块需要强制速率并匹配 FEC(FEC & AN)。
  • 功率等级:不超过网卡笼子的预算——多数网卡允许 QSFP28 4 级(3.5 W), QSFP-DD 最高 12–15 W;ZR/可调谐模块要单独核实(功耗)。
  • 散热:服务器气流从前到后穿过网卡;朝向机箱后部的网卡上,模块处于排风气流中(温度等级)。

典型角色及其光模块

角色NIC链路
通用虚拟化主机2 × 25G SFP28到 ToR 的 DAC(角色与拓扑)
存储 / NVMe-oF2 × 100G QSFP28DAC/AOC,带 PFC 的 RoCE(无损以太网)
GPU 服务器4–8 × 400G OSFP/QSFP112(每 GPU 一个)到 rail leaf 的 AOC/DR4(AI 集群布线)
HPCInfiniBand HCA,1–2 × NDR/XDRDAC/AOC(IB 线缆)
边缘 / 分支2 × 10G SFP+到园区核心的 LR
管理 / 带外1G RJ45 或 SFP—

延伸阅读

  • 网卡端口、速率与 PCIe 带宽 ——网卡上的笼子、双速率、拆分线缆、PCIe 代数 × 通道数与端口总数的关系、OCP 3.0、功耗与散热。
  • 网卡上的光模块兼容性 ——各厂商的驱动白名单、Intel 的 allow_unsupported_sfp、Windows/ESXi 的行为、DAC 与光模块的 FEC/AN、需要编码的内容。
  • NIC 工具与诊断 ——ethtool -m、 mlxlink、bnxtnvm、Intel 工具、Windows 和 ESXi 命令,从服务器读取 DDM 和 FEC 计数器。
  • SmartNIC 与 DPU ——BlueField、Pensando、 IPU:可编程适配器上的端口与光模块。

在 CodingBox 中

网卡拒绝的模块,诊断方式与交换机拒绝的模块相同:在工作台上读取身份和合规代码,与驱动的清单对比,若策略要求就进行编码(Check transceiver、 厂商锁定)。


如果您发现本资料中有不准确之处或错误,请选中相应片段并按 Ctrl+Enter,即可。