English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Pengabelan klaster AI: jumlah, jarak, media, QA
Klaster GPU sebagian besar terdiri dari kabel. Delapan GPU dalam satu node berarti delapan link scale-out 400G (atau 800G) ditambah manajemen dan storage; seribu GPU berarti ribuan ujung optik di dua atau tiga tingkat switch, dan masing-masing berpotensi menghentikan proses training. Halaman ini mengubah desain fabric dari Fabric GPU menjadi jumlah kabel, kelas jangkauan, pilihan konektor, dan daftar periksa instalasi.
Menghitung link
Untuk node 8-GPU tipikal dengan satu NIC 400G per GPU, fabric dua-tingkat yang dioptimalkan rail:
| Komponen | Formula | 1 024 GPU (128 node) |
|---|---|---|
| Link GPU-ke-leaf | GPU × 1 | 1 024 × 400G |
| Link leaf-ke-spine (non-blocking) | = GPU-ke-leaf | 1 024 × 400G |
| Ujung optik/kabel (dua per link) | link × 2 | 4 096 |
| NIC storage + manajemen | 2–4 per node | 256–512 link lagi |
| Optik cadangan (3–5 %) | — | 150–250 |
Dengan modul switch twin-port NDR (2 × 400G per OSFP), jumlah di sisi switch berkurang setengah dalam hal modul, tetapi tidak dalam hal serat. Desain tiga-tingkat menambahkan 1 024 link spine-ke-core lagi per 1 024 GPU. Setiap ujung ini adalah transceiver atau plug kabel dengan data identifikasi dan DDM (Keandalan & pemantauan link).
Jarak dalam tata letak yang dioptimalkan rail
| Segmen | Jarak tipikal | Media |
|---|---|---|
| NIC GPU → leaf, rak yang sama | ≤ 2 m | DAC pasif (400G ≤ 2 m; 800G ≤ 1–1,5 m) — termurah, tanpa daya, berat |
| NIC GPU → leaf, rak berdekatan (grup rail membentang satu baris) | 3–10 m | AEC (≤ 3–5 m) atau AOC / transceiver SR melalui MMF |
| Leaf → spine, hall yang sama | 10–100 m | AOC hingga ~50–100 m; SR4/SR8 / VR pada OM4 ≤ 50–100 m; DR4/DR8 pada SMF 500 m — DR lebih unggul pada 400G+ |
| Spine → core / antar-hall | 100 m – 2 km | DR4 / FR4 / 2×FR4 single-mode |
| DCI antar-gedung | 2–80 km | LR4, ZR/ZR+ (Koheren & jarak jauh) |
Pengkabelan yang dioptimalkan rail menempatkan GPU i dari setiap node pada leaf i, sehingga delapan kabel sebuah node menyebar ke delapan leaf yang berbeda — sebagian besar link GPU-ke-leaf keluar dari rak, dan porsi DAC lebih kecil dibandingkan desain ToR klasik. Detail: Bagian dalam kabel.
Pilihan konektor dan serat
| Optik | Konektor | Serat | Catatan |
|---|---|---|---|
| 400G DR4 / 800G DR8 | MPO-12 APC / MPO-16 APC (atau 2 × MPO-12) | SMF, Base-8/Base-16 | APC di semua tempat pada single-mode paralel; modul pinned, patch cord unpinned |
| 400G/800G SR8 / VR8 | MPO-16 UPC | OM4/OM5 | 50–100 m; optik lebih murah, serat lebih mahal per meter |
| 400G FR4 / 2×FR4 | LC dupleks / 2 × LC | SMF | lebih sedikit serat, WDM di dalam modul |
| OSFP twin-port NDR | 2 × MPO-12 APC | SMF | dua port logis per modul; kabel split 1:2 / 1:4 (Pengkabelan IB) |
| DAC / AEC | tidak ada | twinax | data identifikasi pada kedua ujung |
Metode polaritas B dari ujung ke ujung untuk trunk MPO; trunk Base-8 untuk optik 4-lane (Breakout & pengkabelan MPO).
Daya dan panas dari optik saja
| Optik | Daya | Per switch 64-port |
|---|---|---|
| 400G DR4 QSFP-DD | 8–12 W | 0,5–0,8 kW |
| 800G DR8 / 2×FR4 OSFP | 14–18 W | 0,9–1,2 kW |
| Ujung AOC 400G | 3–5 W | — |
| Ujung AEC 800G | 4–6 W | — |
| DAC | 0 | — |
Karena itu, panel depan switch membutuhkan aliran udara depan-ke-belakang tanpa halangan; OSFP bersirip pada switch, flat-top pada NIC; bundel kabel tidak boleh menghalangi intake (Daya & termal, Suhu & tegangan). Optik linear (LPO) memangkas daya modul kira-kira setengah jika host mendukungnya (Modulasi & DSP).
Daftar periksa instalasi dan QA
- Inspeksi masuk untuk setiap optik dan ujung kabel: data identifikasi, checksum, DDM aktif, nilai acuan tersimpan (Pembuatan & pengujian).
- Burn-in optik baru 24–72 h pada suhu operasi sebelum deployment.
- Periksa dan bersihkan setiap MPO (ujung scope APC untuk APC) saat instalasi; jangan pernah menyambungkan konektor yang belum diperiksa.
- Beri label kedua ujung: node/GPU/NIC ↔ leaf/port; kabel split per cabang.
- Manajemen radius tekukan dan berat — tray dan bundel untuk DAC/AEC, service loop untuk serat.
- Verifikasi bring-up: setiap link pada kecepatan dan lebar penuh, FEC aktif, Rx per-lane dalam rentang 2 dB dari lane lainnya, pre-FEC BER < 10⁻⁷ saat idle (Metrik VDM & FEC).
- Catat DDM per-lane dan data identifikasi ke fabric manager / CMDB sebagai nilai acuan.
- Cadangan berdasarkan kelas media dan konektor; pastikan tetap dalam kondisi burned-in.
Kesalahan instalasi yang umum
| Gangguan | Tanda |
|---|---|
| Patch UPC pada DR4 APC | semua lane rendah 3–10 dB, kedua ujung |
| Trunk dengan polaritas salah | semua lane gelap |
| MPO kotor | satu atau dua lane rendah; pre-FEC BER tinggi pada lane tersebut |
| DAC terlalu panjang untuk host | link pada kecepatan berkurang atau flapping |
| Cabang kabel split tertukar | port terhubung ke peer yang salah; topologi tidak cocok di fabric manager |
| OSFP bersirip dalam cage flat (atau sebaliknya) | tidak terpasang dengan benar / overheat |
Di CodingBox
Inspeksi masuk pada skala ini adalah sebuah workflow, bukan pemeriksaan spot: CodingBox membaca setiap modul atau ujung kabel, memverifikasi data identifikasi dan checksum, mencatat DDM per-lane secara live sebagai nilai acuan, dan menyimpannya berdasarkan nomor seri di Code database, sehingga modul yang belakangan dicabut dari port yang flapping dapat dibandingkan dengan kondisi hari pertamanya.