InfiniBand 광 모듈과 케이블

InfiniBand는 고속 이더넷과 같은 플러거블 하우징을 사용하지만, 케이블과 트랜시버 중 무엇을 선택할지 — 그리고 서드파티 모듈을 어디까지 허용할지는 HPC와 AI 클러스터가 만든 고유의 규칙을 따릅니다.

세대별 케이블 대 트랜시버

세대	포트	구리 DAC	액티브 광케이블	트랜시버 + 광섬유
EDR 100G	QSFP28	최대 약 3–5 m	최대 100 m	SR4(MPO-12 MMF), LR4
HDR 200G	QSFP56	최대 약 2 m	최대 100 m	SR4/DR4
NDR 400G	OSFP(트윈포트 2×400G)	약 1–2 m	제한적	MPO-12 APC 싱글모드의 DR4/DR8

패턴은 이렇습니다: 속도가 오를수록 패시브 구리의 전송 거리는 급격히 줄어들고 패브릭은 옵틱스로 옮겨갑니다. NDR에서는 MPO-12 APC 커넥터를 쓰는 싱글모드 DR 옵틱스가 표준입니다 — 경사 연마가 필수이며, APC와 평면 UPC 커넥터를 섞어 쓰는 것이 흔한 설치 실수입니다.

트윈포트 OSFP

NDR 스위치 포트는 흔히 트윈포트 OSFP입니다: OSFP 모듈 하나가 독립적인 400G 링크 두 개(2×DR4)를 실어 날라 페이스플레이트 밀도를 두 배로 높입니다. 핀형 일체형 히트싱크가 전력을 처리합니다. OSFP를 참고하십시오.

시그널링과 FEC

EDR: NRZ 25G 레인; HDR: PAM4 50G; NDR: PAM4 100G.
HDR부터는 RS-FEC가 필수입니다. FEC 불일치나 기대한 FEC를 알리지 않는 모듈은 “링크가 전혀 트레이닝되지 않는” 흔한 원인입니다.

벤더 정책

InfiniBand 패브릭은 스위치/NIC 벤더 한 곳이 지배하고 있으며, 이 벤더의 플랫폼은 케이블과 옵틱스를 식별 정보로 검증합니다. 인식되지 않는 모듈은 읽기는 정상적으로 되더라도 “speed and type: Not supported”와 같은 상태로 링크에 실패할 수 있습니다 — 벤더 락을 참고하십시오. 그래서 운영자는 인증된 옵틱스를 재고로 확보하고, 서드파티 모듈을 쓸 때는 기대되는 식별 정보로 코딩합니다.

대규모 운영

클러스터당 수천 개의 옵틱스: 연간 고장률이 작더라도 꾸준한 교체 수요로 이어집니다. 레인별 DDM을 추적하면 레인 하나가 죽어가면서 집합 통신을 느리게 만들기 전에 잡아낼 수 있습니다.
MPO 단면의 청결도가 플래핑의 가장 큰 원인입니다 — 400G 관련 세부 사항은 CMIS 문제를 참고하십시오.

CodingBox에서는

CodingBox는 EDR/HDR 모듈은 SFF-8636에 따라, NDR OSFP/QSFP-DD는 CMIS에 따라 읽습니다: 식별 정보, 모듈 상태, 레인별 DDM, 그리고 패브릭이 모듈을 받아들일지를 결정하는 식별 정보 필드입니다.

이 문서에서 부정확한 내용이나 오류를 발견하면 해당 부분을 선택하고 Ctrl+Enter를 눌러 해 주세요.