AI 클러스터 배선: 수량, 거리, 매체, 품질 검사

GPU 클러스터는 대부분 케이블로 이루어집니다. 한 노드의 GPU 8개는 관리용과 스토리지용 링크 외에도 8개의 400G(또는 800G) 스케일아웃 링크를 의미하며, GPU 1 000개는 두세 개의 스위치 계층에 걸친 수천 개의 광 종단을 의미하고, 그 하나하나가 학습을 멈출 수 있는 잠재적 요인입니다. 이 페이지는 GPU 패브릭의 패브릭 설계를 케이블 수량, 전송 거리 등급, 커넥터 선택, 설치 체크리스트로 옮겨 놓습니다.

링크 수 계산

GPU당 400G NIC 하나씩을 갖춘 전형적인 8-GPU 노드, 레일 최적화 2계층 패브릭 기준:

항목	공식	GPU 1 024개(노드 128개)
GPU-리프 링크	GPU × 1	1 024 × 400G
리프-스파인 링크(논블로킹)	= GPU-리프	1 024 × 400G
광/케이블 종단(링크당 2개)	링크 × 2	4 096
스토리지 + 관리용 NIC	노드당 2–4개	추가로 256–512개 링크
예비 광학 부품(3–5 %)	—	150–250

NDR 트윈포트 스위치 모듈(OSFP당 2 × 400G)을 쓰면 스위치 쪽 모듈 수는 절반이 되지만 광섬유 수는 그대로입니다. 3계층 설계에서는 GPU 1 024개마다 스파인-코어 링크가 1 024개 더 추가됩니다. 이 종단 하나하나가 식별 정보와 DDM을 가진 트랜시버 또는 케이블 플러그입니다(링크 신뢰성과 모니터링).

레일 최적화 배치에서의 거리

구간	일반적인 거리	매체
GPU NIC → 리프, 동일 랙	≤ 2 m	패시브 DAC(400G ≤ 2 m; 800G ≤ 1–1.5 m) — 가장 저렴, 전력 소모 없음, 무거움
GPU NIC → 리프, 인접 랙(레일 그룹이 한 열에 걸침)	3–10 m	AEC(≤ 3–5 m) 또는 MMF 위의 AOC/SR 트랜시버
리프 → 스파인, 동일 홀	10–100 m	약 50–100 m까지 AOC; OM4에서 ≤ 50–100 m SR4/SR8 / VR; SMF에서 500 m DR4/DR8 — 400G 이상에서는 DR이 우세
스파인 → 코어/홀 사이	100 m – 2 km	DR4 / FR4 / 2×FR4 싱글모드
건물 간 DCI	2–80 km	LR4, ZR/ZR+(코히어런트 장거리 전송)

레일 최적화 배선은 모든 노드의 GPU i를 리프 i에 연결하므로, 한 노드의 케이블 8개는 서로 다른 8개의 리프로 흩어집니다 — 대부분의 GPU-리프 링크가 랙을 벗어나며, DAC 비중은 전통적인 ToR 설계보다 작습니다. 자세한 내용: 케이블 내부 구조.

커넥터와 광섬유 선택

옵틱스	커넥터	광섬유	비고
400G DR4 / 800G DR8	MPO-12 APC / MPO-16 APC(또는 2 × MPO-12)	SMF, Base-8/Base-16	싱글모드 병렬 전체에 APC; 모듈은 핀 있음, 패치 코드는 핀 없음
400G/800G SR8 / VR8	MPO-16 UPC	OM4/OM5	50–100 m; 광학 부품은 저렴, 미터당 광섬유 비용은 더 높음
400G FR4 / 2×FR4	듀플렉스 LC / 2 × LC	SMF	광섬유 수는 적음, 모듈 내부에서 WDM
NDR 트윈포트 OSFP	2 × MPO-12 APC	SMF	모듈당 논리 포트 2개; 1:2/1:4 분할 케이블(IB 배선)
DAC / AEC	없음	트윈액스	양쪽 끝에 식별 정보

MPO 간선은 양 끝단 모두 극성 방식 B; 4레인 광학 부품에는 Base-8 간선을 사용합니다(브레이크아웃과 MPO 배선).

광학 부품 자체의 전력과 발열

옵틱스	전력	64포트 스위치당
400G DR4 QSFP-DD	8–12 W	0.5–0.8 kW
800G DR8 / 2×FR4 OSFP	14–18 W	0.9–1.2 kW
400G AOC 종단	3–5 W	—
800G AEC 종단	4–6 W	—
DAC	0	—

따라서 스위치 전면판은 전면에서 후면으로 막힘 없이 흐르는 통풍이 필요합니다; 스위치에는 핀이 달린 OSFP를, NIC에는 플랫톱을 사용하며, 케이블 다발이 흡기를 막아서는 안 됩니다(전력과 열, 온도와 전압). 리니어(LPO) 광학 부품은 호스트가 지원하는 경우 모듈 전력을 대략 절반으로 줄입니다(변조와 DSP).

설치와 QA 체크리스트

모든 옵틱스와 케이블 종단에 대한 입고 검사: 식별 정보, 체크섬, DDM 정상 동작 확인, 기준값 저장(제조와 테스트).
배치 전 신규 광학 부품을 동작 온도에서 24–72시간 번인합니다.
설치 시 모든 MPO를 점검하고 세정합니다(APC에는 APC용 스코프 팁 사용); 점검하지 않은 커넥터는 절대 결합하지 않습니다.
양쪽 끝에 라벨을 붙입니다: 노드/GPU/NIC ↔ 리프/포트; 분할 케이블은 가닥별로 표시합니다.
굴곡 반경과 무게 관리 — DAC/AEC는 트레이와 다발로, 광섬유는 서비스 루프로 관리합니다.
기동 검증: 모든 링크가 정격 속도와 폭으로 동작하고, FEC가 켜져 있으며, 레인별 Rx가 인접 레인과 2 dB 이내이고, 유휴 상태의 pre-FEC BER가 10⁻⁷ 미만인지 확인합니다(VDM 및 FEC 지표).
레인별 DDM과 식별 정보를 기준값으로 패브릭 매니저/CMDB에 기록합니다.
매체 등급과 커넥터별로 예비품을 확보하고 번인된 상태로 유지합니다.

자주 발생하는 설치 결함

결함	징후
APC DR4에 UPC 패치 코드 사용	양쪽 끝 모든 레인이 3–10 dB 낮음
극성이 잘못된 간선	모든 레인 빛 없음
오염된 MPO	한두 개 레인이 낮음; 해당 레인의 pre-FEC BER가 높음
호스트에 비해 DAC가 너무 김	속도가 낮아지거나 링크가 불안정(flapping)
분할 케이블 가닥이 뒤바뀜	포트가 잘못된 상대와 연결됨; 패브릭 매니저 토폴로지 불일치
핀형 OSFP를 플랫형 케이지에 장착(또는 반대)	제대로 장착되지 않거나 과열됨

CodingBox에서

이 정도 규모의 입고 검사는 임의 표본 점검이 아니라 하나의 작업 흐름입니다: CodingBox는 모듈이나 케이블 종단을 하나씩 읽어 식별 정보와 체크섬을 검증하고, 레인별 실시간 DDM을 기준값으로 기록해 시리얼 번호에 연결해 code database에 저장하므로, 나중에 불안정한 포트에서 빼낸 모듈을 첫날 상태와 비교할 수 있습니다.

이 문서에서 부정확한 내용이나 오류를 발견하면 해당 부분을 선택하고 Ctrl+Enter를 눌러 해 주세요.