Topologi fabric GPU

Jaringan klaster AI dibangun berlapis-lapis, dan setiap lapisan memakai interconnect yang berbeda — dan optik yang berbeda. Memahami lapisan-lapisan ini menjelaskan mengapa sebuah klaster memiliki begitu banyak transceiver dan di mana satu yang buruk paling merugikan.

Scale-up vs scale-out

Transceiver pluggable sebagian besar berada di lapisan scale-out — setiap server GPU memiliki beberapa port 400G/800G menuju fabric, ditambah jaringan front-end/storage yang terpisah.

Fat-tree dan non-blocking

Fabric scale-out biasanya berupa fat-tree (Clos): switch leaf menghubungkan server, switch spine menghubungkan leaf, dengan cukup banyak uplink leaf–spine sehingga server mana pun dapat berkomunikasi dengan server lain pada kecepatan penuh (non-blocking). Sebagian besar optik sebuah klaster ada pada link leaf–spine dan server–leaf ini — ribuan modul DR4/DR8 yang identik.

Desain yang dioptimalkan rail

Traffic training didominasi oleh operasi kolektif antar-GPU dengan rank yang sama di berbagai server. Topologi yang dioptimalkan rail memanfaatkan ini: GPU 0 setiap server terhubung ke switch leaf 0, GPU 1 ke leaf 1, dan seterusnya, sehingga GPU dengan rank yang sama berjarak satu hop dan operasi kolektif tidak pernah melewati spine. Konsekuensinya untuk optik: gangguan pada satu rail memengaruhi satu posisi GPU di setiap server — pola yang penting untuk dikenali.

Jaringan terpisah

Sebuah klaster biasanya menjalankan beberapa fabric yang terpisah secara fisik:

• Fabric compute — GPU-ke-GPU (IB atau RoCE), yang terbesar dan paling padat optik.
• Fabric storage — menuju sistem berkas paralel dan object storage, sering kali Ethernet (jaringan storage).
• Front-end / manajemen — akses pengguna, orkestrasi, telemetri.

Masing-masing memiliki inventaris optik sendiri dan aturan validasi vendor sendiri.

Mengapa satu link yang buruk begitu berpengaruh

Sebuah operasi kolektif selesai pada kecepatan peserta yang paling lambat. Satu transceiver dengan lane yang menurun kualitasnya — koreksi FEC yang lebih tinggi, retransmisi sesekali — memperpanjang tail latency setiap langkah dan dapat mengurangi throughput seluruh klaster dalam jumlah yang terukur. Karena itulah operator AI memantau tren DDM per-lane di seluruh armada dan mengganti optik secara proaktif (Transceiver dalam klaster AI).

Di CodingBox

Kualifikasi optik di meja kerja sebelum dipasang ke sebuah rail: data identifikasi per CMIS, nilai acuan DDM per-lane pada layar DDM, dan catatan di Code database sehingga riwayat modul tersedia saat sebuah rail mulai menunjukkan kesalahan.

Adaptor di ujung GPU pada fabric ini — BlueField, ConnectX-8 SuperNIC, Pensando — dan optik OSFP twin-port-nya: SmartNIC dan DPU.