광 포트가 있는 NIC: 개요
모든 서버 링크의 반대쪽 끝에는 네트워크 인터페이스 카드(NIC)가 있으며, 케이지, SerDes 레인, 모듈로의 관리 버스, 어떤 모듈을 받아들일지에 대한 정책까지 스위치와 같은 게임을 합니다 — 다만 두 가지가 다릅니다: 정책이 네트워크 OS가 아니라 드라이버에 있다는 점, 그리고 병목이 포트가 아니라 PCIe 버스인 경우가 많다는 점입니다. 이 섹션은 SFP/QSFP급 케이지를 갖춘 NIC를 다룹니다: 제품군과 벤더, 포트와 PCIe의 관계, 트랜시버 호환성과 그 드라이버 수준의 오버라이드, 서버 측에서 모듈을 읽는 도구, 카드와 스위치의 경계를 흐리는 프로그래머블 어댑터(SmartNIC, DPU)입니다.

광학 부품 관점에서 본 NIC
| 요소 | 스위치에서는 | NIC에서는 |
|---|
| 케이지 | 박스당 24–64개 | 카드당 1–4개(보통 1–2개) |
| SerDes | 포워딩 ASIC | NIC 컨트롤러 ASIC(Intel E810, Broadcom BCM57508, Nvidia ConnectX-7…) |
| 모듈 관리 | I²C 먹스와 CPLD를 통한 NOS | 컨트롤러의 I²C를 통한 드라이버/펌웨어 |
| 정책 | NOS 화이트리스트(NOS별 모듈 검증 방식) | 드라이버/펌웨어 화이트리스트(NIC에서의 트랜시버 호환성) |
| 속도/FEC 설정 | CLI | ethtool, 벤더 도구, BIOS/UEFI, OS 장치 관리자(도구) |
| 백홀 | 패브릭 ASIC | CPU로 가는 PCIe 레인(포트와 PCIe) |
| 전력 | 섀시에서 케이지당 3.3 V | PCIe 슬롯(25–75 W)에 고급 카드는 보조 커넥터 추가 |
카드의 폼 팩터
| 카드 유형 | 위치 | 포트 |
|---|
| PCIe 애드인 카드(half-height half-length, full-height) | 모든 서버 슬롯 | 1–2 × SFP28/QSFP28, 1–2 × QSFP56/QSFP112/QSFP-DD/OSFP |
| OCP NIC 3.0(SFF/LFF 메자닌) | 서버 후면의 OCP 슬롯 | 동일한 케이지, 전면 접근 가능, 일부 섀시에서는 핫스왑 |
| LOM/임베디드 | 메인보드 위 | 보통 RJ45, 일부는 SFP+ |
| 메자닌/블레이드 | 블레이드 서버 | 블레이드 섀시 스위치에 연결, 케이지 없음 |
| SmartNIC/DPU | PCIe 또는 OCP | 2 × 100/200/400G, 자체 Arm 코어(SmartNIC와 DPU) |
제품군과 벤더
| 벤더 | 제품군(광 포트 모델) | 속도 | 케이지 | 드라이버(Linux) |
|---|
| Intel | X520 / X710 / XXV710 / E810 / E830 | 10G / 10G / 25G / 25–100G / 200G | SFP+, SFP28, QSFP28, QSFP56 | ixgbe, i40e, ice, idpf |
| Nvidia(Mellanox) | ConnectX-4 Lx / -5 / -6 Dx / -6 Lx / -7 / -8 SuperNIC | 25G / 100G / 100–200G / 25–50G / 200–400G / 800G | SFP28, QSFP28, QSFP56, QSFP112, OSFP | mlx5_core |
| Broadcom | NetXtreme-E BCM5741x / 5750x(P225, P425, P2100, P1400GD) | 25G / 100–200G / 400G | SFP28, QSFP56, QSFP-DD | bnxt_en |
| Marvell(QLogic) | FastLinQ 41000 / 45000 | 10–25G / 100G | SFP28, QSFP28 | qede |
| AMD(Solarflare, Pensando) | X2522 / X3522; Pensando DSC | 10–25G; 100–200G | SFP28; QSFP56 | sfc; ionic |
| Chelsio | T6 | 10–100G | SFP28, QSFP28 | cxgb4 |
| 기타 | Silicom, Napatech(FPGA), Xilinx/AMD Alveo, Netronome | 10–100G | 혼합 | — |
카드 모델별 속도는 컨트롤러와 케이지로 고정됩니다. “25G capable”은 10G와 25G를 의미하며 1G는 드뭅니다(포트와 PCIe).
NIC가 모듈에 요구하는 것
- 해당 케이지에서 컨트롤러가 지원하는 속도에 맞는 컴플라이언스 코드.
- 드라이버가 받아들이는 식별 정보 — Intel 제품군이 가장 엄격합니다(NIC에서의 트랜시버 호환성).
- 드라이버가 맞출 수 있는 FEC/AN 동작: 25G 이상의 DAC는 양쪽 모두 Clause 73 AN이 필요하며, 광학 부품은 속도를 강제하고 FEC를 맞춰야 합니다(FEC와 AN).
- 카드의 케이지 전력 예산 안에 드는 전력 등급 — 대부분의 NIC는 QSFP28 class 4(3.5 W)를 허용하고 QSFP-DD는 최대 12–15 W까지 허용합니다. ZR/튜너블 모듈은 별도로 확인해야 합니다(전력과 소비).
- 냉각: 서버 기류는 카드를 앞에서 뒤로 통과하며, 후면을 향한 카드의 모듈은 배기 기류 속에 놓입니다(온도 등급).
일반적인 역할과 그 광학 부품
| 역할 | NIC | 링크 |
|---|
| 범용 가상화 호스트 | 2 × 25G SFP28 | ToR로의 DAC(역할과 토폴로지) |
| 스토리지/NVMe-oF | 2 × 100G QSFP28 | DAC/AOC, PFC를 사용하는 RoCE(무손실 이더넷) |
| GPU 서버 | 4–8 × 400G OSFP/QSFP112(GPU당 1개) | 레일 리프로의 AOC/DR4(AI 클러스터 배선) |
| HPC | InfiniBand HCA 1–2 × NDR/XDR | DAC/AOC(IB 케이블) |
| 엣지/지사 | 2 × 10G SFP+ | 캠퍼스 코어로의 LR |
| 관리/OOB | 1G RJ45 또는 SFP | — |
더 읽어보기
- NIC 포트, 속도, PCIe 대역폭 — NIC의 케이지, 듀얼레이트, 브레이크아웃 케이블, PCIe 세대 × 레인 대 포트 총량, OCP 3.0, 전력과 냉각.
- NIC에서의 트랜시버 호환성 — 벤더별 드라이버 화이트리스트, Intel
allow_unsupported_sfp, Windows/ESXi 동작, DAC와 광학 부품의 FEC/AN, 무엇을 코딩할지. - NIC 도구와 진단 —
ethtool -m, mlxlink, bnxtnvm, Intel 도구, Windows와 ESXi 명령어, 서버에서 DDM과 FEC 카운터를 읽는 방법. - SmartNIC와 DPU — BlueField, Pensando, IPU: 프로그래머블 어댑터의 포트와 광학 부품.
CodingBox에서
NIC가 거부하는 모듈은 스위치가 거부하는 모듈과 같은 방식으로 진단합니다: 벤치에서 식별 정보와 컴플라이언스 코드를 읽고, 드라이버의 목록과 대조하고, 정책이 요구하면 코딩합니다(Check transceiver, 벤더 락).