English 
简体中文 
繁體中文 
Русский 
Español 
Deutsch 
Français 
Português 
Italiano 
Türkçe 
Polski 
Nederlands 
日本語 
한국어 
Bahasa Indonesia 
Bahasa Melayu 
العربية 
हिन्दी 
Tiếng Việt 
ภาษาไทย 
বাংলা 
اردو 
Kiswahili 
Oʻzbekcha 
አማርኛ 
فارسی Keandalan link dan pemantauan dalam fabric AI
Sebuah job training adalah komputasi sinkron di ribuan GPU: setiap operasi kolektif menunggu link yang paling lambat. Satu transceiver yang flapping tidak sekadar memperlambat satu server sedikit — ia menghentikan seluruh job, dan jika gagal total, job tersebut dimulai ulang dari checkpoint terakhir. Karena itu optik berhenti menjadi sekadar komponen dan menjadi anggaran keandalan (reliability budget). Halaman ini membahas matematika kegagalan, metrik yang memprediksi masalah, cara fabric memantau dan mengisolasi link yang buruk, serta praktik operasional yang menekan tingkat kegagalan.
Mengapa satu link penting
| Event | Efek pada job training |
|---|---|
| Link flap (detik) | operasi kolektif time out atau retry; waktu step melonjak; dengan NCCL/RCCL, stall yang cukup lama membatalkan job |
| Link pada kecepatan/lebar berkurang | setiap all-reduce mengikuti kecepatannya; throughput seluruh klaster turun ke porsi link tersebut |
| Pre-FEC BER meningkat, belum ada uncorrectable | belum ada dampak — tetapi margin sudah habis; pada siang hari yang hangat berikutnya, link ini akan flapping |
| Kesalahan FEC uncorrectable | packet loss → badai retransmisi RDMA → stall |
| Kegagalan total (hard failure) | job dimulai ulang dari checkpoint: beberapa menit hingga satu jam waktu komputasi hilang di seluruh klaster |
Biaya satu restart dari checkpoint pada job seribu-GPU diukur dalam GPU-jam; itulah angka yang perlu dibandingkan dengan harga optik yang lebih baik dan QA yang lebih baik.
Aritmetika kegagalan
Keandalan transceiver dinyatakan dalam FIT (kegagalan per 10⁹ jam-perangkat) atau MTBF.
| Asumsi | Nilai |
|---|---|
| Ujung optik dalam fabric | 4 000 (klaster 1 024-GPU dua-tingkat) |
| FIT per ujung (optik 400G yang matang, pendinginan baik) | 200–500 |
| Perkiraan kegagalan total per bulan | 4 000 × 350 × 10⁻⁹ × 720 h ≈ 1 |
| Tingkat link flap yang teramati di lapangan | 5–20 × lebih tinggi daripada kegagalan total — kotoran, margin marginal, termal, firmware |
Jadi kegagalan total jarang dan dapat diprediksi; flap dan link yang menurun kualitasnya mendominasi dan sebagian besar dapat dicegah — itulah sebabnya pemantauan dan QA sepadan dengan biayanya.
Metrik yang memprediksi masalah
| Metrik | Sumber | Sehat | Tindakan |
|---|---|---|---|
| Pre-FEC BER per lane | CMIS VDM; penghitung FEC host | < 10⁻⁷ | > 10⁻⁶ naik; > 10⁻⁵ jadwalkan penggantian |
| Codeword FEC uncorrectable | host | 0 | penambahan berapa pun = insiden |
| Kesalahan simbol per lane | host (Ethernet) / perfquery (IB) | seimbang, mendekati nol | satu lane mendominasi |
| Daya Rx per lane vs baseline | DDM | dalam 1 dB dari hari pertama, antar-lane dalam 2 dB satu sama lain | −2 dB dari nilai acuan |
| Tren bias Tx | DDM | flat | +15–20 % dari nilai acuan (Bias Tx & penuaan) |
| Suhu modul | DDM | < 60 °C | > 65 °C atau +10 °C dari modul tetangga |
| eSNR (CMIS) | VDM | > 18–20 dB | menurun pada satu lane |
| Link flap per port | log switch, fabric manager | 0 | berapa pun |
| Kecepatan/lebar hasil negosiasi | switch / ibstat | penuh | di bawah rating |
Definisi dan format: Metrik VDM & FEC, Pemantauan.
Arsitektur pemantauan
| Fabric | Pengumpulan | Alat |
|---|---|---|
| InfiniBand | subnet/fabric manager melakukan polling pada penghitung setiap port serta EEPROM/DDM kabel | manager kelas UFM, ibdiagnet, mlxlink -m |
| Ethernet (RoCE) | streaming gNMI/OpenConfig untuk status transceiver dan FEC setiap 10–60 detik; fallback SNMP | gnmic → Prometheus/Grafana, telemetri vendor (Membaca DDM dengan alat) |
| Sisi host | penghitung NIC: retransmisi, CNP, out-of-order; log NCCL/RCCL untuk timeout | node exporter |
| Sisi job | varians step-time, deteksi straggler | metrik framework training |
Korelasikan ketiganya: lonjakan step-time pada 14:05, kenaikan pre-FEC BER pada leaf 7 lane 3 pada 14:04, dan puncak suhu modul di rak 12 adalah sebuah diagnosis yang lengkap.
Isolasi dan remediasi
- Penonaktifan port otomatis / route-around saat kesalahan uncorrectable atau flap melewati ambang batas — fabric manager dan NOS mendukung kebijakan link-error; adaptive routing mengalihkan flow di sekitar link yang menurun kualitasnya untuk sementara.
- Drain node tersebut jika port NIC-nya yang menjadi penyebab; jadwalkan job di sekitarnya.
- Uji modul di meja kerja: data identifikasi, DDM per-lane dibandingkan nilai acuan hari pertamanya, checksum, versi firmware (Check transceiver, DDM).
- Bersihkan dan periksa ulang MPO pada kedua sisi sebelum menyalahkan modul — kotoran adalah penyebab paling umum (Ketidakcocokan fisik).
- Tukar dan amati: jika kesalahan mengikuti modulnya, ajukan RMA; jika kesalahan tetap ada pada port tersebut, periksa cage, serat, dan ujung jauhnya.
Praktik yang menurunkan tingkat kegagalan
| Praktik | Efek |
|---|---|
| Inspeksi masuk dan burn-in (24–72 h di bawah beban dan suhu) | menghilangkan infant mortality sebelum mencapai sebuah job |
| Nilai acuan DDM per-lane pada hari pertama | mengubah akurasi absolut (±3 dB) menjadi delta yang presisi |
| Jaga modul < 60 °C — aliran udara, OSFP bersirip/flat yang benar, intake tidak terhalang | umur pakai berlipat ganda per −10 °C |
| Bersihkan setiap konektor pada setiap penyambungan; tutup pada port yang tidak dipakai | sebagian besar flap disebabkan kotoran |
| Firmware selalu terbaru (currency) untuk modul dan host | perbaikan interop CMIS (Masalah CMIS) |
| Optik yang homogen dan tervalidasi per tingkat | lebih sedikit kejutan interop DSP host/modul |
| Cadangan yang sudah di-burn-in dan diberi nilai acuan, 3–5 % | penggantian tanpa insiden kedua |
| Tinjau tren setiap minggu | ganti laser yang menua sesuai jadwal, bukan setelah gagal |
Ke mana arah teknologi ini
Kecepatan lane yang lebih tinggi (200G/lane, 1,6T) semakin memperketat margin; optik linear (LPO) dan co-packaged optics menghilangkan DSP beserta pemantauannya — memindahkan visibilitas BER ke host — sambil menjanjikan lebih sedikit komponen dan panas yang lebih rendah (Modulasi & DSP, Optik dalam AI). Apa pun modulnya, disiplinnya tetap sama: buat nilai acuan, pantau delta, dan bertindak berdasarkan tren.
Di CodingBox
CodingBox adalah ujung meja kerja dari siklus ini: pembacaan inspeksi masuk dan burn-in, nilai acuan per-lane hari pertama yang disimpan berdasarkan nomor seri di Code database, dan pembacaan post-mortem modul yang dicabut — data identifikasi, firmware, checksum, dan DDM dibandingkan dengan riwayatnya sendiri — sehingga keputusan RMA bersandar pada data, bukan pada baris log terakhir dari port tersebut.