InfiniBand 패브릭 기초

InfiniBand 패브릭은 링크를 진단할 때 중요한 지점에서 이더넷 네트워크와 다르게 동작합니다. 이 페이지는 옵틱스 엔지니어가 마주치는 개념 — 서브넷 매니저, 무손실 흐름 제어, 토폴로지, 불량 링크가 나타나는 양상 — 을 다룹니다.

서브넷 매니저

모든 IB 서브넷에는 활성 서브넷 매니저(SM)가 하나 있습니다. SM은 모든 포트와 스위치를 발견하고, 로컬 식별자(LID)를 할당하고, 포워딩 테이블을 계산해 모든 스위치에 프로그래밍합니다. 링크가 플래핑하면 SM은 패브릭을 다시 훑으므로 — 한계에 가까운 옵틱스 하나는 링크 하나만 끊는 것이 아니라, 모두가 알아챌 만한 패브릭 전체의 재라우팅 이벤트를 일으킵니다.

크레딧을 통한 무손실

IB 링크는 정상 동작에서 패킷을 절대 버리지 않습니다: 송신자는 수신자가 버퍼 크레딧을 알려줄 때만 전송합니다. 따라서 혼잡은 폐기가 아니라 배압(back-pressure)으로 나타나며, 열화된 링크(심볼 오류 증가, FEC 정정 증가)는 그 링크에 의존하는 작업 전체를 느리게 만듭니다 — 집합 통신에서 말하는 “느린 링크 하나” 문제입니다.

토폴로지

팻트리(Clos) — 표준 방식: 리프 스위치가 호스트를 연결하고, 스파인 스위치가 리프를 연결하며, 논블로킹이 되도록 충분한 업링크를 둡니다. 대부분의 링크는 리프-스파인 옵틱스입니다.
Dragonfly+와 토러스 변형은 스위치와 케이블을 절약하기 위해 가장 큰 규모의 시스템에 등장합니다.
AI용 레일 최적화 설계는 각 GPU의 NIC를 패브릭의 별도 “레일”에 배치해, 서버 간에 같은 랭크를 가진 GPU들이 한 홉 거리에 있도록 합니다 — GPU 패브릭 토폴로지를 참고하십시오.

RDMA와 GPUDirect

애플리케이션은 RDMA verb를 사용해 CPU 복사 없이 노드 메모리 사이에서 데이터를 이동시키며, GPUDirect RDMA는 이를 GPU 메모리까지 확장합니다. 그 결과 패브릭 장애는 운영자가 포트 다운을 확인하기 훨씬 전부터 애플리케이션에는 집합 통신의 정체나 타임아웃으로 나타납니다.

불량 링크의 증상

패브릭에서의 증상	확인할 물리 계층 원인
포트 하나에서 심볼 오류/FEC 정정 블록 증가	MPO 오염, 한계에 가까운 Rx 파워, 레인 열화
링크가 더 낮은 폭이나 속도에 고정됨	FEC 불일치, 모듈이 기대한 레이트를 알리지 않음
포트가 “Not supported”, 링크 없음	인식되지 않는 모듈 식별 정보 — 벤더 락
반복되는 SM 스윕	어딘가에서 플래핑하는 링크 — 포트별 오류 카운터로 찾을 것

일반적인 진단 사다리를 따르십시오: 수치 확인 → 세정 → 교체 → 케이블.

CodingBox에서는

의심스러운 IB 모듈은 벤치에서 읽으십시오: DDM 화면의 레인별 Rx/Tx와 바이어스를 보면 SR4/DR4 모듈의 레인 하나가 죽어가고 있는지 알 수 있고, 식별 정보 필드를 보면 패브릭이 교체품을 받아들일지 알 수 있습니다.

프로토콜 계층, 큐 페어, 서브넷 매니저 기능을 자세히 다룬 자료: IB 프로토콜과 전송; 세대와 전송 거리별 패브릭 배선: IB 배선.

이 문서에서 부정확한 내용이나 오류를 발견하면 해당 부분을 선택하고 Ctrl+Enter를 눌러 해 주세요.