Ikhtisar jaringan AI

Melatih model AI besar menyebarkan pekerjaan ke banyak GPU di banyak server. Jaringan di antara mereka — bukan satu GPU mana pun — yang sering kali menentukan seberapa cepat sebuah klaster dapat melakukan training, itulah sebabnya fabric AI mengandalkan transceiver optik dengan bandwidth tertinggi yang tersedia.

Mengapa jaringan ini penting

• Operasi kolektif — GPU terus-menerus bertukar gradien dan parameter dalam pola all-to-all, menghasilkan traffic east-west yang berat.
• Tail latency itu penting — satu step menunggu link yang paling lambat, sehingga latensi rendah yang konsisten dan pengiriman lossless menjadi sangat penting.
• Skala — ribuan GPU berarti switch yang padat dan high-radix serta jumlah optik yang sangat besar.

Dua gaya fabric

• InfiniBand — telah lama mapan di HPC, dengan RDMA dan flow control lossless (lihat InfiniBand).
• Ethernet dengan RoCE — RDMA over Converged Ethernet, yang makin banyak dipakai untuk AI skala besar pada Ethernet lossless.

Optik

Link AI biasanya 400G dan 800G, pada modul QSFP-DD dan OSFP. Pilihan interconnect dan optik secara spesifik dibahas di Interconnect & optik AI.

Faktor bentuk dan memori manajemen yang sama berlaku — CodingBox membaca modul berkecepatan tinggi ini seperti modul lainnya.

Bacaan lebih lanjut

• Pengkabelan klaster AI — jumlah link per GPU, jarak pada tata letak yang dioptimalkan rail, campuran DAC/AEC/AOC/DR, pilihan konektor, daya optik, QA instalasi.
• Keandalan dan pemantauan link pada fabric AI — mengapa satu link menghentikan sebuah job, aritmetika FIT, metrik prediktif, arsitektur pemantauan, isolasi, dan pencegahan.