Pengabelan IB berdasarkan generasi: DAC, AOC, transceiver, kabel split
Sebuah klaster InfiniBand dikabelkan menurut kelas jangkauan: tembaga jika switch berada dalam jangkauan tangan, tembaga aktif sedikit lebih jauh, active optical cable hingga row berikutnya, transceiver dengan serat optik terstruktur untuk sisanya. Setiap generasi menggeser batasnya ke dalam dan mengubah konektornya, dan NDR menambahkan modul twin-port serta kabel split yang membingungkan installer pemula. Halaman ini adalah referensi pengkabelan — jangkauan, konektor, konfigurasi split, serta aturan mekanis dan identitas.
Konektor menurut generasi
| Generasi | Rate per-lane | Port 4x | Konektor | Catatan |
|---|---|---|---|---|
| SDR / DDR | 2,5 / 5 Gb/s | 10 / 20 Gb/s | CX4 (tembaga), kemudian QSFP | lama |
| QDR | 10 Gb/s | 40 Gb/s | QSFP | manajemen SFF-8436 |
| FDR | 14,06 Gb/s | 56 Gb/s | QSFP+ (untuk FDR) | 64B/66B; FEC opsional |
| EDR | 25,78 Gb/s | 100 Gb/s | QSFP28 | optik sama seperti 100G Ethernet, pengkodean berbeda |
| HDR | 53,1 Gb/s PAM4 | 200 Gb/s | QSFP56 | splitter 1:2 ke HDR100 |
| NDR | 106 Gb/s PAM4 | 400 Gb/s | OSFP twin-port (2 × 400G per modul) pada switch; OSFP atau QSFP112 pada HCA | 800G per cage switch |
| XDR | 212 Gb/s PAM4 | 800 Gb/s | OSFP / OSFP-XD | 1,6T per cage switch |
Detail faktor bentuk: QSFP28, QSFP56, OSFP, QSFP112.
Kelas jangkauan
| Medium | QDR | FDR | EDR | HDR | NDR | Catatan |
|---|---|---|---|---|---|---|
| DAC pasif | ≤ 7 m | ≤ 3–5 m | ≤ 3 m | ≤ 2 m | ≤ 1,5–2 m | jangkauan menyusut setiap generasi; gauge lebih tebal untuk run yang lebih panjang |
| Tembaga aktif (ACC/AEC) | — | ≤ 5 m | ≤ 5 m | ≤ 3–4 m | ≤ 3 m | plug berdaya; AEC dengan retimer untuk NDR |
| AOC | ≤ 100 m (sebagian 300) | ≤ 100 m | ≤ 100 m | ≤ 100 m | ≤ 30–50 m tipikal | VCSEL 850 nm, ribbon MMF di dalamnya |
| Transceiver kelas SR (MMF) | ≤ 300 m | ≤ 100–150 m | ≤ 70–100 m | ≤ 70–100 m | ≤ 50 m (VR) / 100 m (SR) | OM3/OM4, MPO |
| Transceiver kelas DR/FR (SMF) | — | — | 500 m – 2 km (PSM4, CWDM4) | 500 m – 2 km | 500 m (DR4) / 2 km (FR4) | MPO-12 APC (DR4), LC duplex (FR4) |
Apa yang ada di dalam setiap jenis kabel: Bagian dalam kabel.
Twin-port NDR dan kabel split
Satu cage switch NDR menampung satu modul OSFP twin-port = dua port 400G independen di belakang dua receptacle MPO-12/APC (atau dua LC-duplex). Opsi pengkabelan dari satu modul:
| Konfigurasi | Kabel | Ujung jauh |
|---|---|---|
| 2 × 400G langsung | dua trunk MPO-12 APC | dua port HCA NDR 400G (OSFP atau QSFP112) atau switch lain |
| Split 1:2 (800G → 2 × 400G) | kabel-Y, satu ujung OSFP, dua ujung OSFP/QSFP112 | dua HCA — koneksi server standar |
| Split 1:4 (800G → 4 × 200G) | satu ujung OSFP, empat ujung QSFP56/QSFP112 | HCA berkecepatan HDR (NDR200) |
| AOC twin-port | satu ujung OSFP twin-port, dua ujung OSFP/QSFP112 | hingga ~30–50 m |
| DAC twin-port | satu ujung OSFP, dua ujung | ≤ 1,5–2 m; berat — hanya dalam rak |
Setiap leg split adalah link terpisah dengan negosiasinya sendiri; switch melihatnya sebagai dua (atau empat) port. Pengodean identitas harus mendeskripsikan seluruh assembly secara konsisten di setiap ujungnya (Bagian dalam kabel).
OSFP finned vs flat
- OSFP finned-top — heat sink terintegrasi untuk cage switch dengan aliran udara terbuka di atas modul. Tidak muat pada cage flat.
- OSFP flat-top — untuk HCA dan cage dengan heat sink riding. Muat pada kedua jenis cage, tetapi pada cage switch yang terbuka dapat menjadi panas.
- QSFP112 pada HCA berbagi antarmuka elektrik NDR pada 4 × 106 Gb/s dalam footprint QSFP; port HCA QSFP112 berpasangan dengan kabel split dari switch OSFP.
Konsekuensi termal: Daya & termal.
Aturan mekanis
| Aturan | Alasan |
|---|---|
| Patuhi radius tekukan (DAC ≥ 10× diameter; AOC/serat optik ≥ 30 mm) | twinax yang terjepit → error lane; serat optik yang tertekuk → Rx loss |
| Sangga berat kabel — DAC twin-port berat | menarik cage, kontak intermiten, paddle card retak |
| Pinned/unpinned dan APC pada setiap MPO | Breakout & pengkabelan MPO |
| Bersihkan dan periksa setiap MPO sebelum dipasang | satu partikel dapat menghabiskan 1–3 dB pada sebuah lane |
| Jaga dust cap tetap terpasang pada cage dan konektor yang tidak digunakan | kontaminasi adalah penyebab utama kegagalan lane |
| Jauhkan dari exhaust panas | optical engine AOC dan plug AEC menua seiring suhu |
Identitas dan kebijakan vendor
Switch dan HCA InfiniBand dari vendor dominan memvalidasi kabel dan transceiver terhadap daftar yang didukung, dan membaca cable info-nya (vendor, PN, SN, panjang, teknologi) ke dalam fabric manager. Kabel yang tidak tervalidasi mungkin link pada kecepatan yang lebih rendah atau ditandai; kabel yang dikodekan dengan panjang atau kelas rate yang salah dapat gagal negosiasi. Byte identitasnya adalah bidang standar SFF-8636/CMIS ditambah deklarasi rate InfiniBand (Kode kepatuhan, Penguncian vendor).
Praktik inventaris
- Beri label kedua ujung dengan link-nya (switch/port ↔ host/port); kabel split membutuhkan label per-leg.
- Catat vendor, PN, SN, dan panjang per kabel di fabric manager atau CMDB; ambil datanya dari
mlxcablesatau dari CodingBox saat inspeksi kedatangan. - Simpan cadangan berdasarkan kelas jangkauan dan konektor; varian twin-port dan split NDR tidak dapat dipertukarkan dengan 400G biasa.
- Lakukan burn-in pada optik baru sebelum deployment (Keandalan & pemantauan link).
Di CodingBox
Ujung kabel dan transceiver dibaca seperti modul lainnya: identitas dengan panjang kabel, teknologi, dan kelas rate, DDM per-lane untuk AOC dan optik, state CMIS untuk modul NDR (Check transceiver, DDM). Membaca setiap leg kabel split sebelum instalasi menangkap ujung yang tidak cocok yang jika tidak akan link pada kecepatan yang salah.
Bagaimana HCA dan driver NIC memvalidasi kabel-kabel ini, dan tool yang menampilkan hasilnya dari sisi host: Kompatibilitas transceiver pada NIC, Alat dan diagnostik NIC.