Tổng quan về NIC có cổng quang
Đầu bên kia của mọi liên kết server là một card giao diện mạng (NIC), và nó chơi cùng một trò chơi như switch — cage, làn SerDes, một bus quản lý tới module, một chính sách về việc chấp nhận module nào — với hai khác biệt: chính sách nằm trong driver chứ không phải network OS, và điểm nghẽn thường là bus PCIe chứ không phải cổng. Phần này trình bày các NIC có cage lớp SFP/QSFP: các họ sản phẩm và nhà sản xuất, cách các cổng liên quan tới PCIe, tính tương thích transceiver và các cách ghi đè ở cấp driver, các công cụ đọc module từ phía server, và các adapter khả trình (SmartNIC, DPU) làm mờ ranh giới giữa card và switch.

NIC là gì, xét theo góc độ quang học
| Thành phần | Trên switch | Trên NIC |
|---|
| Cage | 24–64 mỗi hộp | 1–4 mỗi card (thường là 1–2) |
| SerDes | ASIC chuyển tiếp | ASIC bộ điều khiển NIC (Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…) |
| Quản lý module | NOS qua mux I²C và CPLD | driver/firmware qua I²C của bộ điều khiển |
| Chính sách | danh sách cho phép của NOS (Cách mỗi NOS xác thực module) | danh sách cho phép của driver/firmware (Tính tương thích quang học trên NIC) |
| Cấu hình tốc độ/FEC | CLI | ethtool, công cụ của nhà sản xuất, BIOS/UEFI, trình quản lý thiết bị của hệ điều hành (Công cụ) |
| Backhaul | ASIC fabric | làn PCIe tới CPU (Cổng và PCIe) |
| Nguồn | 3,3 V mỗi cage từ chassis | khe PCIe (25–75 W) cộng thêm đầu nối phụ trợ trên các card cao cấp |
| Loại card | Ở đâu | Cổng |
|---|
| Card cắm thêm PCIe (half-height half-length, full-height) | bất kỳ khe server nào | 1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP |
| OCP NIC 3.0 (mezzanine SFF / LFF) | khe OCP ở mặt sau server | cùng loại cage, truy cập từ phía trước, hot-swap trên một số chassis |
| LOM / tích hợp sẵn | trên bo mạch chủ | thường là RJ45; một số có SFP+ |
| Mezzanine / blade | máy chủ blade | kết nối tới switch của chassis blade, không có cage |
| SmartNIC / DPU | PCIe hoặc OCP | 2 × 100/200/400G, có lõi Arm riêng (SmartNIC và DPU) |
Các họ sản phẩm và nhà sản xuất
| Nhà sản xuất | Họ sản phẩm (model có cổng quang) | Tốc độ | Cage | Driver (Linux) |
|---|
| Intel | X520 / X710 / XXV710 / E810 / E830 | 10G / 10G / 25G / 25–100G / 200G | SFP+, SFP28, QSFP28, QSFP56 | ixgbe, i40e, ice, idpf |
| Nvidia (Mellanox) | ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC | 25G / 100G / 100–200G / 25–50G / 200–400G / 800G | SFP28, QSFP28, QSFP56, QSFP112, OSFP | mlx5_core |
| Broadcom | NetXtreme-E BCM5741x / 5750x (P225, P425, P2100, P1400GD) | 25G / 100–200G / 400G | SFP28, QSFP56, QSFP-DD | bnxt_en |
| Marvell (QLogic) | FastLinQ 41000 / 45000 | 10–25G / 100G | SFP28, QSFP28 | qede |
| AMD (Solarflare, Pensando) | X2522 / X3522; Pensando DSC | 10–25G; 100–200G | SFP28; QSFP56 | sfc; ionic |
| Chelsio | T6 | 10–100G | SFP28, QSFP28 | cxgb4 |
| Khác | Silicom, Napatech (FPGA), Xilinx/AMD Alveo, Netronome | 10–100G | hỗn hợp | — |
Tốc độ của mỗi model card do bộ điều khiển và cage quyết định cố định; “có khả năng 25G” nghĩa là 10G và 25G, hiếm khi có 1G (Cổng và PCIe).
NIC cần gì ở một module
- Mã tuân thủ cho một tốc độ mà bộ điều khiển hỗ trợ tại cage đó.
- Thông tin nhận dạng mà driver chấp nhận — các họ Intel là khắt khe nhất (Tính tương thích quang học trên NIC).
- Hành vi FEC/AN mà driver có thể khớp được: DAC từ 25G trở lên cần AN Clause 73 ở cả hai đầu; quang học cần ép tốc độ và FEC khớp nhau (FEC và AN).
- Hạng công suất nằm trong ngân sách cage của card — hầu hết NIC cho phép QSFP28 hạng 4 (3,5 W) và QSFP-DD tới 12–15 W; cần kiểm tra riêng với module ZR/điều chỉnh được (Công suất và mức tiêu thụ).
- Làm mát: luồng khí của server đi từ trước ra sau qua card; module trên các card quay ra sau nằm trong luồng khí thoát (Cấp nhiệt độ).
Các vai trò thường gặp và quang học tương ứng
| Vai trò | NIC | Liên kết |
|---|
| Host ảo hóa thông dụng | 2 × 25G SFP28 | DAC tới ToR (Vai trò và cấu trúc mạng) |
| Storage / NVMe-oF | 2 × 100G QSFP28 | DAC/AOC, RoCE kèm PFC (Ethernet không mất gói) |
| Máy chủ GPU | 4–8 × 400G OSFP/QSFP112 (mỗi GPU một cổng) | AOC/DR4 tới rail leaf (Đi cáp cho cụm AI) |
| HPC | HCA InfiniBand 1–2 × NDR/XDR | DAC/AOC (Cáp IB) |
| Edge / chi nhánh | 2 × 10G SFP+ | LR tới lõi campus |
| Quản lý / OOB | RJ45 1G hoặc SFP | — |
Đọc thêm
- Cổng NIC, tốc độ và băng thông PCIe — cage trên NIC, hai tốc độ, cáp breakout, thế hệ PCIe × số làn so với tổng băng thông cổng, OCP 3.0, công suất và làm mát.
- Tính tương thích transceiver trên NIC — danh sách cho phép của driver theo từng nhà sản xuất,
allow_unsupported_sfp của Intel, hành vi trên Windows/ESXi, FEC/AN với DAC và quang học, cần mã hóa gì. - Công cụ và chẩn đoán NIC —
ethtool -m, mlxlink, bnxtnvm, công cụ của Intel, lệnh trên Windows và ESXi, đọc DDM và bộ đếm FEC từ phía server. - SmartNIC và DPU — BlueField, Pensando, IPU: cổng và quang học trên các adapter khả trình.
Trong CodingBox
Một module bị NIC từ chối được chẩn đoán theo cùng cách như khi bị switch từ chối: đọc thông tin nhận dạng và mã tuân thủ trên bàn thử, so sánh với danh sách của driver, mã hóa nếu chính sách yêu cầu (Check transceiver, Khóa nhà sản xuất).