NIC 포트, 속도, PCIe 대역폭

NIC의 전면 패널은 “2 × 100G”를 약속합니다. 서버가 실제로 200 Gb/s를 처리할 수 있는지는 카드 뒤의 PCIe 슬롯에 달려 있고, 특정 모듈이 동작하는지는 케이지와 컨트롤러의 레인 맵에 달려 있습니다 — 스위치와 똑같지만 포트 수가 더 적고 버스는 과소 프로비저닝하기 쉽습니다. 이 페이지는 NIC에서 볼 수 있는 케이지와 속도, 듀얼레이트 포트와 브레이크아웃 케이블에 관한 규칙, PCIe 연산, OCP 3.0 폼 팩터, 카드의 광학 부품에 영향을 미치는 전력과 냉각 한계를 다룹니다.

NIC의 케이지와 속도

케이지	NIC에서 볼 수 있는 속도	대표적인 컨트롤러	참고
SFP+	10G(일부는 1G)	Intel X520/X710, Broadcom 5741x	1G 지원 여부는 다름, 카드 사양을 확인
SFP28	25G, 10G(1G은 드묾)	Intel XXV710/E810-XXV, ConnectX-4 Lx/-6 Lx, Broadcom P225	25G는 FEC 합의가 필요(FEC와 AN)
SFP56	50G, 25G, 10G	ConnectX-6 Lx/Dx(일부)	PAM4 레인
QSFP28	100G, 4 × 25G, 2 × 50G, 40G, 4 × 10G	Intel E810-CQDA2, ConnectX-5/6, Broadcom P2100	컨트롤러가 허용하는 경우에만 케이블을 통한 브레이크아웃
QSFP56	200G, 100G, 2 × 100G	ConnectX-6 Dx/-7, Broadcom P2200, Pensando	—
QSFP112	400G, 200G, 100G, 4 × 100G	ConnectX-7, Broadcom P1400GD	레인당 100G, QSFP28/56 수용
QSFP-DD	400G, 2 × 200G, 4 × 100G	Broadcom BCM57608	—
OSFP(트윈 포트)	2 × 400G, 800G	ConnectX-7/-8, BlueField-3	Nvidia 트윈 포트 설계에서는 케이지 1개에 논리 포트 2개
RJ45	1G / 10GBASE-T / mGig	X550, X710-T, BCM57416	모듈 없음, PHY가 카드에 내장

케이지 호환성 규칙은 스위치와 동일합니다(포트 유형과 케이지).

듀얼레이트 포트와 속도 그룹

대부분의 25G NIC는 각 포트를 10G나 25G로 독립적으로 동작시킵니다 — 쿼드 그룹화가 없습니다 — 하지만 일부 듀얼포트 컨트롤러는 SerDes 그룹을 공유해 양쪽 포트에 같은 속도를 강제합니다.
100G 카드는 흔히 40G 모듈을 지원하고, 200G/400G 카드는 100G 모듈을 지원합니다. 세대를 두 단계 이상 낮추는 것(SFP28에서 1G, QSA를 통한 QSFP56에서 10G)은 거의 지원되지 않습니다.
속도는 보통 모듈의 컴플라이언스 코드로부터 자동 결정됩니다. 모듈이 듀얼레이트이거나 인식되지 않을 때는 강제 설정(ethtool -s … speed)이 필요합니다(도구).

NIC의 브레이크아웃

사례	동작 여부
100G QSFP28 NIC 포트 → 스위치로 4 × 25G(DAC 스플리터)	컨트롤러가 “4 × 25G port split” 모드를 지원할 때만 동작(많은 Nvidia와 Broadcom 카드는 지원, 대부분의 Intel은 미지원), 이 경우 카드는 netdev 4개로 표시됨
스위치 100G 포트 → NIC SFP28 포트 4개로 4 × 25G	예 — 이것이 일반적인 방향이며, 분할은 스위치에서 구성됩니다(브레이크아웃과 MPO)
400G OSFP 트윈 포트 → 2 × 400G 또는 4 × 200G / 8 × 100G	Nvidia 트윈 포트 카드: 케이지당 논리 포트 2개, 추가 분할은 펌웨어에 따라 다름
QSFP28 포트에서 2 × 50G	일부 컨트롤러

PCIe: 실제 포트 속도

PCIe 세대	레인당 원속도	x8 실사용(≈)	x16 실사용(≈)
Gen 3	8 GT/s	56–63 Gb/s	112–126 Gb/s
Gen 4	16 GT/s	112–126 Gb/s	225–252 Gb/s
Gen 5	32 GT/s	225–252 Gb/s	450–504 Gb/s
Gen 6	64 GT/s	~450–500 Gb/s	~900–1 000 Gb/s

실사용 처리량은 인코딩과 패킷 오버헤드를 뺀 원속도의 85–90 %입니다. 포트와 레인을 맞춰 보면:

카드	포트	필요 사항
2 × 25G	50 Gb/s	Gen 3 x8
2 × 100G	200 Gb/s	Gen 4 x16(Gen 3 x16은 ~126에서 포화)
1 × 200G / 2 × 100G Gen 4	200 Gb/s	Gen 4 x16
2 × 200G	400 Gb/s	Gen 5 x16
1 × 400G	400 Gb/s	Gen 5 x16(또는 “socket direct”/멀티호스트를 통한 x16 2개)
2 × 400G	800 Gb/s	Gen 6 x16 또는 Gen 5 x16 2개

Gen 3 x8 슬롯에 꽂힌 2 × 100G 카드는 양쪽 포트 모두 100G로 링크되지만 실제로는 총 ~60 Gb/s만 전달합니다 — 광학 부품은 멀쩡하고 버스가 문제입니다. 협상된 링크 폭과 속도(LnkSta)는 lspci -vv로 확인하고, BIOS의 bifurcation 설정도 확인하십시오.

OCP NIC 3.0

항목	SFF(소형 폼 팩터)	LFF(대형)
크기	76 × 115 mm	139 × 115 mm
PCIe	최대 x16	최대 x32(x16 2개)
전력	최대 80 W	최대 150 W
포트	2–4 × SFP28/QSFP28/QSFP56/QSFP112	2 × QSFP-DD/OSFP 이상
광학 부품 접근	모듈 전면, 공구 불필요	동일

OCP 카드는 서버 후면에서 자체 기류 채널을 가지고 있어, GPU 사이에 파묻힌 PCIe 카드보다 모듈 냉각이 보통 더 낫습니다.

카드 위 광학 부품의 전력과 냉각

항목	제한/규칙
PCIe 슬롯 전력	25 W(x1…x8 로우 프로파일), 75 W(x16), 400G 카드는 8핀 보조 커넥터를 사용
NIC의 케이지별 전력 예산	SFP28: 1.5 W(레벨 II), QSFP28: 3.5–4.5 W, QSFP56/112: 5–8 W, QSFP-DD/OSFP: 12–20 W — 카드의 데이터시트에 명시(전력과 소비)
기류	카드를 가로지르는 200–300 LFM, 1U 서버에서 CPU 배기 근처 카드의 광학 부품은 뜨거워짐 — DDM 온도가 60 °C를 넘는 경우가 흔함
열 스로틀링	일부 컨트롤러는 모듈이 고온을 보고하면 모듈을 저전력으로 낮추거나 포트를 닫음
NIC의 코히어런트/ZR	표준 NIC에서는 지원되지 않음 — class 8은 케이지 전력 예산을 초과

멀티호스트와 socket direct

고급 카드는 두 개의 CPU 소켓(x8 또는 x16 링크 2개)이나 여러 호스트에 자신을 노출할 수 있습니다. 광학 측은 그대로이며, 분할은 PCIe에서 일어납니다. Gen 4 플랫폼의 400G와, GPU마다 NIC가 자신만의 PCIe 루트에 있어야 하는 GPU 서버에서 중요합니다.

광학 부품을 고려해 NIC를 구매하기 전 체크리스트

케이지 유형과 해당 케이지에서 컨트롤러가 지원하는 속도.
대상 슬롯의 PCIe 세대 및 레인 대 전체 포트 대역폭.
브레이크아웃이 필요한가? 컨트롤러가 포트 분할을 지원해야 합니다.
드라이버의 모듈 정책(NIC에서의 트랜시버 호환성).
케이지 전력 예산 대 계획된 모듈, 보조 전원 커넥터 유무.
섀시 위치의 기류, 더 나은 냉각을 위해서는 OCP 3.0을 고려.
FEC 모드와 속도 강제에 대한 OS/드라이버 지원.

CodingBox에서

모듈의 컴플라이언스 코드와 전력 등급을 보면 NIC의 케이지와 속도에 맞는지 알 수 있습니다. CodingBox는 모듈을 장착하기 전에 이를 읽어 들이며, 포트 분할과 PCIe 관련 문제는 서버 측에서 해결합니다(Check transceiver).

이 문서에서 부정확한 내용이나 오류를 발견하면 해당 부분을 선택하고 Ctrl+Enter를 눌러 해 주세요.