Tổng quan về NIC có cổng quang · Card giao diện mạng · Card mạng và switch · Tài liệu · CodingBox
CodingBox Tài liệu

Tổng quan về NIC có cổng quang

Đầu bên kia của mọi liên kết server là một card giao diện mạng (NIC), và nó chơi cùng một trò chơi như switch — cage, làn SerDes, một bus quản lý tới module, một chính sách về việc chấp nhận module nào — với hai khác biệt: chính sách nằm trong driver chứ không phải network OS, và điểm nghẽn thường là bus PCIe chứ không phải cổng. Phần này trình bày các NIC có cage lớp SFP/QSFP: các họ sản phẩm và nhà sản xuất, cách các cổng liên quan tới PCIe, tính tương thích transceiver và các cách ghi đè ở cấp driver, các công cụ đọc module từ phía server, và các adapter khả trình (SmartNIC, DPU) làm mờ ranh giới giữa card và switch.

Đường tín hiệu trong server: CPU, PCIe, bộ điều khiển và driver NIC, cage, module hoặc DAC, cổng switch

NIC là gì, xét theo góc độ quang học

Thành phầnTrên switchTrên NIC
Cage24–64 mỗi hộp1–4 mỗi card (thường là 1–2)
SerDesASIC chuyển tiếpASIC bộ điều khiển NIC (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…)
Quản lý moduleNOS qua mux I²C và CPLDdriver/firmware qua I²C của bộ điều khiển
Chính sáchdanh sách cho phép của NOS (Cách mỗi NOS xác thực module)danh sách cho phép của driver/firmware (Tính tương thích quang học trên NIC)
Cấu hình tốc độ/FECCLIethtool, công cụ của nhà sản xuất, BIOS/UEFI, trình quản lý thiết bị của hệ điều hành (Công cụ)
BackhaulASIC fabriclàn PCIe tới CPU (Cổng và PCIe)
Nguồn3,3 V mỗi cage từ chassiskhe PCIe (25–75 W) cộng thêm đầu nối phụ trợ trên các card cao cấp

Form factor của card

Loại cardỞ đâuCổng
Card cắm thêm PCIe (half-height half-length, full-height)bất kỳ khe server nào1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0 (mezzanine SFF / LFF)khe OCP ở mặt sau servercùng loại cage, truy cập từ phía trước, hot-swap trên một số chassis
LOM / tích hợp sẵntrên bo mạch chủthường là RJ45; một số có SFP+
Mezzanine / blademáy chủ bladekết nối tới switch của chassis blade, không có cage
SmartNIC / DPUPCIe hoặc OCP2 × 100/200/400G, có lõi Arm riêng (SmartNIC và DPU)

Các họ sản phẩm và nhà sản xuất

Nhà sản xuấtHọ sản phẩm (model có cổng quang)Tốc độCageDriver (Linux)
IntelX520 / X710 / XXV710 / E810 / E83010G / 10G / 25G / 25–100G / 200GSFP+, SFP28, QSFP28, QSFP56ixgbe, i40e, ice, idpf
Nvidia (Mellanox)ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC25G / 100G / 100–200G / 25–50G / 200–400G / 800GSFP28, QSFP28, QSFP56, QSFP112, OSFPmlx5_core
BroadcomNetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD)25G / 100–200G / 400GSFP28, QSFP56, QSFP-DDbnxt_en
Marvell (QLogic)FastLinQ 41000 / 4500010–25G / 100GSFP28, QSFP28qede
AMD (Solarflare, Pensando)X2522 / X3522; Pensando DSC10–25G; 100–200GSFP28; QSFP56sfc; ionic
ChelsioT610–100GSFP28, QSFP28cxgb4
KhácSilicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome10–100Ghỗn hợp—

Tốc độ của mỗi model card do bộ điều khiển và cage quyết định cố định; “có khả năng 25G” nghĩa là 10G và 25G, hiếm khi có 1G (Cổng và PCIe).

NIC cần gì ở một module

  • Mã tuân thủ cho một tốc độ mà bộ điều khiển hỗ trợ tại cage đó.
  • Thông tin nhận dạng mà driver chấp nhận — các họ Intel là khắt khe nhất (Tính tương thích quang học trên NIC).
  • Hành vi FEC/AN mà driver có thể khớp được: DAC từ 25G trở lên cần AN Clause 73 ở cả hai đầu; quang học cần ép tốc độ và FEC khớp nhau (FEC và AN).
  • Hạng công suất nằm trong ngân sách cage của card — hầu hết NIC cho phép QSFP28 hạng 4 (3,5 W) và QSFP-DD tới 12–15 W; cần kiểm tra riêng với module ZR/điều chỉnh được (Công suất và mức tiêu thụ).
  • Làm mát: luồng khí của server đi từ trước ra sau qua card; module trên các card quay ra sau nằm trong luồng khí thoát (Cấp nhiệt độ).

Các vai trò thường gặp và quang học tương ứng

Vai tròNICLiên kết
Host ảo hóa thông dụng2 × 25G SFP28DAC tới ToR (Vai trò và cấu trúc mạng)
Storage / NVMe-oF2 × 100G QSFP28DAC/AOC, RoCE kèm PFC (Ethernet không mất gói)
Máy chủ GPU4–8 × 400G OSFP/QSFP112 (mỗi GPU một cổng)AOC/DR4 tới rail leaf (Đi cáp cho cụm AI)
HPCHCA InfiniBand 1–2 × NDR/XDRDAC/AOC (Cáp IB)
Edge / chi nhánh2 × 10G SFP+LR tới lõi campus
Quản lý / OOBRJ45 1G hoặc SFP—

Đọc thêm

  • Cổng NIC, tốc độ và băng thông PCIe — cage trên NIC, hai tốc độ, cáp breakout, thế hệ PCIe × số làn so với tổng băng thông cổng, OCP 3.0, công suất và làm mát.
  • Tính tương thích transceiver trên NIC — danh sách cho phép của driver theo từng nhà sản xuất, allow_unsupported_sfp của Intel, hành vi trên Windows/ESXi, FEC/AN với DAC và quang học, cần mã hóa gì.
  • Công cụ và chẩn đoán NIC — ethtool -m, mlxlink, bnxtnvm, công cụ của Intel, lệnh trên Windows và ESXi, đọc DDM và bộ đếm FEC từ phía server.
  • SmartNIC và DPU — BlueField, Pensando, IPU: cổng và quang học trên các adapter khả trình.

Trong CodingBox

Một module bị NIC từ chối được chẩn đoán theo cùng cách như khi bị switch từ chối: đọc thông tin nhận dạng và mã tuân thủ trên bàn thử, so sánh với danh sách của driver, mã hóa nếu chính sách yêu cầu (Check transceiver, Khóa nhà sản xuất).


Nếu bạn phát hiện thông tin chưa chính xác hoặc lỗi trong bài viết này, hãy chọn đoạn liên quan và nhấn Ctrl+Enter để .