Dasar-dasar fabric InfiniBand

Fabric InfiniBand berperilaku berbeda dari jaringan Ethernet dengan cara-cara yang penting saat Anda mendiagnosis sebuah link. Halaman ini membahas konsep-konsep yang ditemui seorang optics engineer: subnet manager, flow control lossless, topologi, dan bagaimana link yang buruk terlihat.

Subnet manager

Setiap subnet IB memiliki satu Subnet Manager (SM) yang aktif. SM menemukan semua port dan switch, menetapkan local identifier (LID), menghitung forwarding table, dan memprogramkannya ke setiap switch. Ketika sebuah link flapping, SM menyapu ulang fabric tersebut — sehingga sebuah optik yang marginal tidak hanya kehilangan satu link, tetapi memicu event re-routing di seluruh fabric yang disadari semua orang.

Lossless lewat credit

Link IB tidak pernah membuang paket dalam operasi normal: pengirim baru mengirim ketika penerima telah mengiklankan credit buffer. Karena itu, kongesti menghasilkan back-pressure, bukan pembuangan paket, dan sebuah link yang menurun (symbol error yang meningkat, koreksi FEC) memperlambat seluruh job yang bergantung padanya — masalah “satu link lambat” pada operasi kolektif.

Topologi

Fat-tree (Clos) — standarnya: switch leaf menghubungkan host, switch spine menghubungkan leaf, dengan uplink yang cukup untuk menjadi non-blocking. Sebagian besar link adalah optik leaf–spine.
Dragonfly+ dan varian torus muncul pada sistem terbesar untuk menghemat switch dan kabel.
Desain rail-optimised untuk AI menempatkan NIC setiap GPU pada sebuah “rail” fabric yang terpisah, sehingga GPU dengan rank yang sama di berbagai server berjarak satu hop — lihat Topologi fabric GPU.

RDMA dan GPUDirect

Aplikasi menggunakan verb RDMA untuk memindahkan data antar-memori node tanpa penyalinan oleh CPU; GPUDirect RDMA memperluas ini ke memori GPU. Akibatnya, sebuah gangguan fabric terlihat oleh aplikasi sebagai stall atau timeout dalam sebuah operasi kolektif, sering kali jauh sebelum operator melihat port yang down.

Ciri-ciri link yang buruk

Gejala pada fabric	Penyebab lapisan fisik yang perlu diperiksa
Symbol error yang meningkat / blok terkoreksi FEC pada satu port	MPO kotor, Rx power marginal, lane yang menurun
Link macet pada width atau kecepatan yang lebih rendah	ketidakcocokan FEC, modul tidak mengiklankan rate yang diharapkan
Port “Not supported”, tidak ada link	identitas modul tidak dikenali — penguncian vendor
SM sweep berulang	sebuah link yang flapping di suatu tempat — temukan lewat error counter per-port

Ikuti tangga diagnostik yang biasa: level → bersihkan → ganti → kabel.

Di CodingBox

Baca modul IB yang dicurigai di meja kerja: Rx/Tx per-lane dan bias pada layar DDM menunjukkan apakah satu lane pada modul SR4/DR4 sedang melemah, dan bidang identitas menunjukkan apakah fabric akan menerima modul pengganti.

Layer protokol, queue pair, dan fungsi subnet manager secara detail: Protokol & transport IB; pengkabelan fabric menurut generasi dan jangkauan: Pengkabelan IB.

Jika Anda menemukan ketidakakuratan atau kesalahan dalam artikel ini, pilih bagian teks yang bersangkutan lalu tekan Ctrl+Enter untuk .