CodingBox 문서

광 포트가 있는 NIC: 개요

모든 서버 링크의 반대쪽 끝에는 네트워크 인터페이스 카드(NIC)가 있으며, 케이지, SerDes 레인, 모듈로의 관리 버스, 어떤 모듈을 받아들일지에 대한 정책까지 스위치와 같은 게임을 합니다 — 다만 두 가지가 다릅니다: 정책이 네트워크 OS가 아니라 드라이버에 있다는 점, 그리고 병목이 포트가 아니라 PCIe 버스인 경우가 많다는 점입니다. 이 섹션은 SFP/QSFP급 케이지를 갖춘 NIC를 다룹니다: 제품군과 벤더, 포트와 PCIe의 관계, 트랜시버 호환성과 그 드라이버 수준의 오버라이드, 서버 측에서 모듈을 읽는 도구, 카드와 스위치의 경계를 흐리는 프로그래머블 어댑터(SmartNIC, DPU)입니다.

서버 경로: CPU, PCIe, NIC 컨트롤러와 드라이버, 케이지, 모듈 또는 DAC, 스위치 포트

광학 부품 관점에서 본 NIC

요소스위치에서는NIC에서는
케이지박스당 24–64개카드당 1–4개(보통 1–2개)
SerDes포워딩 ASICNIC 컨트롤러 ASIC(Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…)
모듈 관리I²C 먹스와 CPLD를 통한 NOS컨트롤러의 I²C를 통한 드라이버/펌웨어
정책NOS 화이트리스트(NOS별 모듈 검증 방식)드라이버/펌웨어 화이트리스트(NIC에서의 트랜시버 호환성)
속도/FEC 설정CLIethtool, 벤더 도구, BIOS/UEFI, OS 장치 관리자(도구)
백홀패브릭 ASICCPU로 가는 PCIe 레인(포트와 PCIe)
전력섀시에서 케이지당 3.3 VPCIe 슬롯(25–75 W)에 고급 카드는 보조 커넥터 추가

카드의 폼 팩터

카드 유형위치포트
PCIe 애드인 카드(half-height half-length, full-height)모든 서버 슬롯1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP
OCP NIC 3.0(SFF/LFF 메자닌)서버 후면의 OCP 슬롯동일한 케이지, 전면 접근 가능, 일부 섀시에서는 핫스왑
LOM/임베디드메인보드 위보통 RJ45, 일부는 SFP+
메자닌/블레이드블레이드 서버블레이드 섀시 스위치에 연결, 케이지 없음
SmartNIC/DPUPCIe 또는 OCP2 × 100/200/400G, 자체 Arm 코어(SmartNIC와 DPU)

제품군과 벤더

벤더제품군(광 포트 모델)속도케이지드라이버(Linux)
IntelX520 / X710 / XXV710 / E810 / E83010G / 10G / 25G / 25–100G / 200GSFP+, SFP28, QSFP28, QSFP56ixgbe, i40e, ice, idpf
Nvidia(Mellanox)ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC25G / 100G / 100–200G / 25–50G / 200–400G / 800GSFP28, QSFP28, QSFP56, QSFP112, OSFPmlx5_core
BroadcomNetXtreme-E BCM5741x / 5750x(P225, P425, P2100, P1400GD)25G / 100–200G / 400GSFP28, QSFP56, QSFP-DDbnxt_en
Marvell(QLogic)FastLinQ 41000 / 4500010–25G / 100GSFP28, QSFP28qede
AMD(Solarflare, Pensando)X2522 / X3522; Pensando DSC10–25G; 100–200GSFP28; QSFP56sfc; ionic
ChelsioT610–100GSFP28, QSFP28cxgb4
기타Silicom, Napatech(FPGA), Xilinx/AMD Alveo, Netronome10–100G혼합

카드 모델별 속도는 컨트롤러와 케이지로 고정됩니다. “25G capable”은 10G와 25G를 의미하며 1G는 드뭅니다(포트와 PCIe).

NIC가 모듈에 요구하는 것

  • 해당 케이지에서 컨트롤러가 지원하는 속도에 맞는 컴플라이언스 코드.
  • 드라이버가 받아들이는 식별 정보 — Intel 제품군이 가장 엄격합니다(NIC에서의 트랜시버 호환성).
  • 드라이버가 맞출 수 있는 FEC/AN 동작: 25G 이상의 DAC는 양쪽 모두 Clause 73 AN이 필요하며, 광학 부품은 속도를 강제하고 FEC를 맞춰야 합니다(FEC와 AN).
  • 카드의 케이지 전력 예산 안에 드는 전력 등급 — 대부분의 NIC는 QSFP28 class 4(3.5 W)를 허용하고 QSFP-DD는 최대 12–15 W까지 허용합니다. ZR/튜너블 모듈은 별도로 확인해야 합니다(전력과 소비).
  • 냉각: 서버 기류는 카드를 앞에서 뒤로 통과하며, 후면을 향한 카드의 모듈은 배기 기류 속에 놓입니다(온도 등급).

일반적인 역할과 그 광학 부품

역할NIC링크
범용 가상화 호스트2 × 25G SFP28ToR로의 DAC(역할과 토폴로지)
스토리지/NVMe-oF2 × 100G QSFP28DAC/AOC, PFC를 사용하는 RoCE(무손실 이더넷)
GPU 서버4–8 × 400G OSFP/QSFP112(GPU당 1개)레일 리프로의 AOC/DR4(AI 클러스터 배선)
HPCInfiniBand HCA 1–2 × NDR/XDRDAC/AOC(IB 케이블)
엣지/지사2 × 10G SFP+캠퍼스 코어로의 LR
관리/OOB1G RJ45 또는 SFP

더 읽어보기

  • NIC 포트, 속도, PCIe 대역폭 — NIC의 케이지, 듀얼레이트, 브레이크아웃 케이블, PCIe 세대 × 레인 대 포트 총량, OCP 3.0, 전력과 냉각.
  • NIC에서의 트랜시버 호환성 — 벤더별 드라이버 화이트리스트, Intel allow_unsupported_sfp, Windows/ESXi 동작, DAC와 광학 부품의 FEC/AN, 무엇을 코딩할지.
  • NIC 도구와 진단ethtool -m, mlxlink, bnxtnvm, Intel 도구, Windows와 ESXi 명령어, 서버에서 DDM과 FEC 카운터를 읽는 방법.
  • SmartNIC와 DPU — BlueField, Pensando, IPU: 프로그래머블 어댑터의 포트와 광학 부품.

CodingBox에서

NIC가 거부하는 모듈은 스위치가 거부하는 모듈과 같은 방식으로 진단합니다: 벤치에서 식별 정보와 컴플라이언스 코드를 읽고, 드라이버의 목록과 대조하고, 정책이 요구하면 코딩합니다(Check transceiver, 벤더 락).


이 문서에서 부정확한 내용이나 오류를 발견하면 해당 부분을 선택하고 Ctrl+Enter를 눌러 해 주세요.